技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
逆向建模：物理表反向建模
建模流程 逆向建模主要用于将大数据引擎中已经存在的物理表反向建模至DataWorks的维度建模中，其建模流程如下：配置逆向建模策略。建模范围：创建模型前，您需要根据业务需求确定需要将哪些表逆向生成模型。该过程需确定表所在的工作空间、...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据建模任务的操作流程。本文介绍数据建模任务的操作流程。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录，管控各目录下的模型，实现层级分离。具体操作，请参见 新建模型目录。...
操作流程
通过操作流程图及说明，您可以直观且全局了解数据建模任务的操作流程。本文介绍数据建模任务的操作流程。流程图 流程说明 操作 说明 新建模型目录 通过新建模型目录，管控各目录下的模型，实现层级分离。具体操作，请参见 新建模型目录。...
数据治理
数据地图 为什么数据地图数据总览页存储量和存储趋势图相差较大？数据地图血缘展示延迟问题 数据地图新建表搜不到 当前表业务逻辑变更如何通知下游？哪些类型的Hive表支持在数据地图中预览？数据保护伞 数据保护伞为什么有时候查询脱敏有...
快速体验
技术选型 数据建模：大数据开发治理平台 DataWorks数据建模（可选），标准版及以上版本可使用，需要单独购买。原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您...
概述
阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案（DATABLAU），将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上夯实数据...
关系图
DataWorks智能数据建模的关系图，帮助您快速构建数据仓库模型架构图，直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型，一个账号支持创建多个关系图。本文为您介绍关系图的...
DataWorks模块使用说明
使用流程概览：参考文档：DataWorks数据建模 子模块：数据开发（DataStudio）功能说明：数据开发（DataStudio）是一站式大数据开发平台，支持在线开发MaxCompute、EMR、Hologres、CDP、ADB等多种大数据引擎的数据处理任务。它集成了强大的...
用户授权与管理
角色规划 使用数据建模并应用至数据开发的过程中，通常需要进行定义标准、数据建模、数据开发、部署运维等任务，下图为您示例不同流程中操作人员的角色以及所需的角色权限。建议您参考下图进行用户角色及权限规划。开通权限 建议您参考 ...
数据治理中心概述
数据治理流程 数据治理流程如下图所示。配置治理工具。启用治理方案模板并自定义检测项。细分操作 操作目的 操作指导链接 启用治理模板 数据治理中心的整体治理操作是基于治理方案模板执行的，模板中包含了预先配置的检查项及治理项，在...
数据质量管理流程
数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响程度，确定当前以及生产链路上的数据资产等级。详情请参见 数据资产等级定义。在各个加工环节上根据不同资产等级对数据采取不同的质量管理方式。详情请参见 ...
业务过程
业务过程是企业在指定的数据域中所执行的业务活动，是数据建模所需要分析的逻辑主体。例如，交易域中可以有加入购物车、下单、支付等业务过程。本文为您介绍如何创建并使用业务过程。前提条件 已根据规划准备好对应数据域，系统已默认提供...
权限管理与规范化数据开发
本实践将基于DataWorks标准模式空间完成从“数据建模”到“数据生产”的基本流程，帮助您快速掌握规范化的数据体系建设流程，提升在数据开发过程中的规范性、安全性、稳定性。背景信息 DataWorks采取RBAC权限模型供用户管理DataWorks所有...
功能发布记录（2022年）
2022.11.10 全部地域 所有DataWorks用户 无 2022-10 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 DataWorks智能数据建模支持E-MapReduce Hive，建模能力对齐MaxCompute DataWorks 智能数据建模>维度建模 新增如下两种功能：...
阶段一：基础防护建设
数据建模链路：先由数据团队主管定义好建模过程中可能使用到的数据标准，再由数据建模人员设计并提交模型，最后经由数据团队主管、运维或部署人员审核无误后发布至生产环境。数据开发与生产链路：开发人员在开发环境先开发代码、配置调度...
计费逻辑说明
软件费用明细：数据建模 数据建模包括 智能数据建模 和 DATABLAU数据建模 产品，两者均采用 包年包月 计费方式，费用详情如下表。产品类型 功能介绍 计费项 计费说明 计费标准参考 智能数据建模 智能数据建模是DataWorks自研的建模产品，...
DataWorks On EMR使用说明
数据建模 数据开发 数据开发（DataStudio）是一站式大数据开发平台，支持在线开发EMR数据处理任务。它集成了强大的任务调度能力，能够支持千万级的任务混合编排和调度。此外，还提供了一套任务发布的管控流程，保障任务产出的稳定性。节点...
导出数据建模基础信息
支持您通过导出数据建模基础信息功能，下载数据建模基础信息到本地进行查看并搭配导入功能，您可以快速实现工作组间的数据建模基础信息迁移。本文介绍如何导出数据建模基础信息。前提条件 已存在数据建模基础信息，具体操作，请参见 新建...
导出数据建模基础信息
支持您通过导出数据建模基础信息功能，下载数据建模基础信息到本地进行查看并搭配导入功能，您可以快速实现工作组间的数据建模基础信息迁移。本文介绍如何导出数据建模基础信息。前提条件 已存在数据建模基础信息，具体操作，请参见 新建...
产品简介
具有开箱即用的能力和接近中心化数据建模的流程体验。支持模型开发快速上手，帮助用户高效完成模型研发。高性能 针对多个参与方可能出现的高延迟、低带宽问题，产品在通信机制上进行了优化，如采用模型/梯度稀疏化的方案，实现了对大规模、...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点...
DataWorks On CDP/CDH使用说明
二、数据建模与开发 模块 说明 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
文档修订记录
附录：空间级预设角色与MaxCompute引擎权限的映射关系 2023.8.25 新增功能 数据建模 用于帮助您快速构建数据仓库模型架构图，直观展示数据仓库中各模型之间的关系。一个关系图承载一个数据仓库模型，一个账号支持创建多个关系图。关系图 ...
DataWorks On Hologres使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
新建数据建模基础信息
当默认的数据建模基础信息不满足要求时，可以为逻辑表添加自定义属性。本文介绍如何新建数据建模基础信息。背景信息 可根据需要同时新建多个数据建模基础信息供新建逻辑表时使用。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 ...
新建数据建模基础信息
当默认的数据建模基础信息不满足要求时，可以为逻辑表添加自定义属性。本文介绍如何新建数据建模基础信息。背景信息 可根据需要同时新建多个数据建模基础信息供新建逻辑表时使用。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
DataWorks On MaxCompute使用说明
二、数据建模与开发 模块 描述 相关文档 数据建模 数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行诠释，让企业内部实现“数同文”的...
数据建模新能力解读
数据建模的发展背景 主要产品：DataWorks 课程时长：5分钟 当前主流的数据建模方法论 主要产品：DataWorks 课程时长：4分钟 数据建模的主要能力解读 主要产品：DataWorks 课程时长：22分钟 相关文档：数仓规划与业务分类 逆向建模：物理表...
使用流程
业务合作流程 在业务合作流程中，分为线下沟通流程和平台参与流程，具体业务合作流程参见以下流程图。产品使用流程 多方安全建模服务可以在保证多方原始数据不离开本地前提下，通过交换信息量完成模型训练。模型训练完成后，各参与方只持有...
数据建模新能力解读
以下为您系列讲解阿里云智能数据建模新能力解读。课程视频列表 课程简介 课程内容：数据建模的发展背景。主要产品：DataWorks 课程时长：5分钟 课程内容：当前主流的数据建模方法论。主要产品：DataWorks 课程时长：4分钟 课程内容：数据...
使用DataWorks（离线与实时）
操作入口与通用操作指导 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击进入 数据开发，可在以下入口导入本地文件至MaxCompute。在 数据开发 页面的头部菜单栏中。在 数据开发 页面...
导入数据建模基础信息
通过导入数据建模基础信息，可以为逻辑表批量快速添加新属性。本文介绍如何批量导入数据建模基础信息。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
导入数据建模基础信息
通过导入数据建模基础信息，可以为逻辑表批量快速添加新属性。本文介绍如何批量导入数据建模基础信息。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。...
功能发布记录 2022年之前
批量操作 2021-10 功能名称 功能描述 发布时间 发布地域 相关文档 DataWorks智能数据建模新增逆向建模、命名词典功能。命名词典为您提供管理业务名词、物理表、字段的词根和词素及其标准化翻译功能。逆向建模功能帮助您将其他工具建好的...
- 产品推荐
- 这些文档可能帮助您