什么是DataWorks
典型客户 国家电网大数据中心：通过DataWorks实现总部+27家省（市）公司PB级数据的统一管理，通过全链路数据中台的治理与监测运营体系，加快电网整体数字化转型升级。世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型...
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。...单击 更新，即可在 排行榜 图表中查看到数据排行榜信息。如下图所示：
步骤六：可视化分析
本文将使用Quick BI指导您完成本教程的可视化分析步骤，包括数据源、数据集的创建和数据大屏图表的配置。步骤一：创建数据源 登录 Quick BI控制台。...单击 更新，即可在 排行榜 图表中查看到数据排行榜信息。如下图所示：
Tair扩展数据结构概览
Zset增强 exZset 无 TairZset可实现256个维度的double类型的分值排序，提供普通排行榜和多维排行榜的能力。该数据结构已开源，更多信息请参见 TairZset。最佳实践：基于TairZset轻松实现多维排行榜、基于TairZset实现分布式架构排行榜。...
Tair命令概览
Zset增强 exZset 无 TairZset可实现256个维度的double类型的分值排序，提供普通排行榜和多维排行榜的能力。该数据结构已开源，更多信息请参见 TairZset。最佳实践：基于TairZset轻松实现多维排行榜、基于TairZset实现分布式架构排行榜。...
实验介绍
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集，加工，质量监控，与数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
快速体验
涉及产品 本案例涉及以下产品：一站式大数据开发治理DataWorks 本案例通过DataWorks实现数据采集、加工、质量监控，以及数据可视化展现，您需提前开通该服务。详情请参见 开通DataWorks服务。云原生大数据计算服务MaxCompute 实现底层加工...
内存型
Zset增强 exZset 无 TairZset可实现256个维度的double类型的分值排序，提供普通排行榜和多维排行榜的能力。该数据结构已开源，更多信息请参见 TairZset。最佳实践：基于TairZset轻松实现多维排行榜、基于TairZset实现分布式架构排行榜。...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
需求分析
本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略，现需要从用户网站行为中获取网站用户群体基本画像数据，例如，用户群体地理属性、社会属性等，...
发展历程
MaxCompute通过全国首批大数据平台稳定性认证，被证明为韧性型系统。深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，成为国际TPC（Transaction Processing Performance Council）委员会大数据评测标准BigBench的...
文档更新动态（2023年）
更新说明 创建、配置及手动触发识别规则 资产目录 个人数据中心 标签工厂-标签加工-离线标签 标签离线服务任务支持跨项目选择目标表。支持使用非本项目下的物理表作为来源表创建离线视图。离线视图及行为关系支持手动依赖解析及手动配置...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
数据服务入门
步骤一：创建数据源并配置网络连通性 使用数据服务创建API前，您需将数据库或数据仓库添加为DataWorks的数据源，并保障数据服务资源组与您的目标数据源网络连通，以便调用API时DataWorks可成功访问数据源。说明 DataWorks工作空间将集群或...
查看治理结果
如果您需要查看治理排行榜，则可以授权目标用户权限，详情请参见 数据治理中心概述。进入治理评估页面 进入数据治理中心页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理中心，在下拉框中选择对应工作...
产品功能
模型训练 运行自动机器学习 GDB Automl提供运行自动机器学习功能，您可以配置实验基本参数（包括训练数据帧、验证数据帧和目标特征列，用于排行榜对模型排序的第一指标等）和训练参数（例如K折交叉验证折数，指定训练权重列、排序指标、...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
处理治理项问题
使用治理方案模板并配置治理项后，数据治理中心会根据配置的治理项检测目标租户下存在的治理项问题。您可以在DataWorks的治理工作台中查看可优化问题总数、可优化项排行、优化项类别及可优化的任务或表详情，及时发现并处理待治理问题。...
实施步骤
本文主要介绍搭建DataV数据大屏的操作步骤。步骤一：购买DataV基础版 登录 DataV管理控制台，本教程使用 兼容MySQL 方式连接DLA服务，所以购买DataV基础版即可满足要求。步骤二：添加DLA数据源 在添加数据源之前，您必须先为您的DLA配置白...
处理检查项事件
您可以在DataWorks的治理工作台中查看检查项事件的总检查次数、问题发现次数及发现率、强制阻断次数及阻断率等...后续步骤 检查项事件被处理后，您可以进入 治理评估 页面，通过治理报告及治理排行榜查看治理成效，详情请参见 查看治理结果。
蜂窝热力层
数据源 单击 配置数据源，可在 设置数据源 页面中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果。详情请参见 配置组件数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
查看治理方案模板
您可以直接使用该模板快速发现当前账号中存在的待治理问题，并将待治理问题以报表或排行榜的方式呈现，推动治理人员进行数据治理。问题被治理后，系统会通过健康分的方式来体现数据治理的成效。生效规则 治理方案模板作用生效的范围为租户...
DataWorks模块使用说明
使用流程概览：参考文档：数据开发概述 子模块：运维中心 功能说明：运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出时间不可...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
客户案例
千寻位置基于卫星系统（兼容GPS、GLONASS、Galileo）定位数据，利用遍及全国的超过2400个地基增强站及自主研发的定位算法，通过互联网技术进行大数据运算，为遍布全国的用户提供精准定位及延展服务。客户诉求 提升计算精准度及速度，满足...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
产品更新动态
2023年9月 发布时间：2023-09-28 功能名称 功能描述 相关文档 数据中心 数据源管理模块，用户可以在数据中心连接和管理数据库，并可直接在数据中心预览和查看数据库中的不同数据表。添加PolarDB PostgreSQL数据库 管理数据树 我的项目 核心...
DataWorks On EMR使用说明
管理节点：批量操作 流程管控：流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出时间不可控、海量任务监控...
DataWorks On CDP/CDH使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
宜搭创建大屏实操
本文主要介绍如何使用企业经营管理系统中客户库表及签约表表单数据，来创建并配置企业经营管理大屏。宜搭创建大屏实操视频，请参见：宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下：登录宜搭系统，通过空白应用创建名称为 企业...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
DataWorks On Hologres使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
JindoFS实战演示
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
应用场景
应用场景 1.实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接...大数据实时化 数仓是大数据的基础，实时化的数仓能够让BI、报表、推荐（用户标签产出）等多种业务收益，大数据系统总体向实时化迈进。
RAM用户使用DSC授权
RAM用户访问或管理数据安全中心控制台前，需要完成授权操作。本文介绍如何授予RAM用户管理或访问数据安全中心控制台的权限。前提条件 已创建RAM用户。具体操作，请参见 创建RAM用户。为RAM用户授权 使用阿里云账号（主账号）或具有管理权限...
ListDoctorHiveTables-批量获取Hive表分析结果
温数据指的是 7 日内没有访问的数据，但是 30 日以内有访问的数据。coldDataSize:冷数据的数据量大小。冷数据指的是 30 日内没有访问的数据，但是 90 日以内有访问的数据。freezeDataSize:极冷数据数的据量大小。极冷数据指的是 90 日以内...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
个人数据中心
个人数据中心可以帮助您快捷查看自己所负责的资产，并可以对资产执行转交负责人、申请权限操作，本文为您介绍如何查看并管理自己所负责的资产。权限说明 超级管理员可转交所有表类型的负责人，当前表负责人可转交自己是负责人的表。项目...
- 产品推荐
- 这些文档可能帮助您