功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。本文为您介绍如何为汇总逻辑表新建注册上挂标签。前提条件 完成派生指标的创建，详情请参见 创建派生指标。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域...
MaxCompute数据离线同步至ClickHouse
说明 此处会展示ClickHouse数据源开发环境地的表列表和表结构，如果您的ClickHouse数据源开发和生产环境的表定义不同，则可能出现任务在开发环境配置正常但提交生产运行后报错表不存在、列不存在的问题。导入前准备语句、导入后完成语句 您...
任务调度属性配置概述
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。进入调度配置页面。在数据开发（DataStudio）界面，您需找到目标节点，进入该节点的编辑页面。单击节点编辑页面右侧...
DataWorks V2.0
DataWorks V2.0版本操作差异 您可参见DataWorks V2.0系列详解视频，对DataWorks V2.0各功能模块的特性进行深入学习：DataWorks V2.0数据开发功能与用法解析 DataWorks V2.0数据集成简介与最佳实践 DataWorks V2.0智能监控简介与最佳实践 ...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
使用指南
本文将为您介绍如何使用跨链服务控制台，包括注册区块链、跨链授权（包括账本数据访问、合约消息推送）的相关操作流程，以及如何进行权限查看、合约消息查看等。注册区块链 注册您的区块链是开始跨链连接的第一步。注册区块链后，跨链数据...
业务分类
登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据建模，在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的顶部菜单栏，单击 数仓规划，进入 数仓规划 页面。在 数仓规划 页面的左侧导航栏，单击 业务分类，...
概述
配置DTS数据迁移节点 离线数据集成 用于数据迁移、数据传输等场景，实现数据源之间的数据同步。配置离线数据集成节点 数据加工 单实例SQL 将SQL语句发放到指定的关系型数据库上并执行。说明 如果目标实例已开启无锁结构变更，单实例SQL任务...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
数据源管理概述
功能介绍 多数据源类型接入：Dataphin内置丰富的数据源类型，支持对接的数据源包括大数据存储型数据源、文件型数据源、消息队列型数据源、关系型数据源和NoSQL数据源。更多信息，请参见 Dataphin支持的数据源。自定义数据源类型：在内置的...
配置同周期调度依赖
依赖某节点同周期指本节点本周期运行，依赖上游节点当前周期的数据产出情况（即任务执行情况），待上游当前周期实例执行成功后，本节点才会运行。通常，若当前任务需依赖上游任务同周期产出的表数据时，可为当前任务设置依赖该上游任务的同...
步骤二：规划数仓
在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 ...
步骤二：规划数仓
在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息 数据板块：数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。本教程以 ...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
下线节点
报错：请先在发布中心把文件${filename}发布到生产环境或在发布中心取消发布 报错：节点存在子节点，导致任务删除或下线失败 如何下线节点 如果您使用的是标准模式工作空间，则开发环境和生产环境隔离，在DataWorks的数据开发（DataStudio...
数据源权限管理
本文为您汇总数据源权限管理相关的问题。哪些角色可以管理数据源的权限？是否支持再次分享已被分享的数据源？数据源的创建者是否有权控制该数据源？什么是私有模式的数据源？哪些用户能够收回数据源的分享权限？如何检查数据源分享关系的...
注册CDH或CDP集群至DataWorks
以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群对接的能力，您可在DataWorks中注册CDH及CDP集群，进行任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理操作。背景信息 CDH是Cloudera的开源平台...
安全设置与其他
DataWorks支持丰富的数据开发配置，您可以在安全设置与其他页面控制是否脱敏展示返回结果中的敏感信息；是否安全隔离代码与日志；是否进行代码强制评审，把控开发任务的代码质量；是否强制执行冒烟测试，保障任务的正确性；批量删除无用的...
新建层级维度逻辑表
层级维度逻辑表是具有层级结构关系的维度表。例如时间层级维度逻辑表，包含日、周、月、季、年等日期数据。本文为您介绍如何新建并配置层级维度逻辑表。前提条件 已完成层级业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
DataWorks On MaxCompute使用说明
数据地图概述 安全中心 数据保护伞 审批中心 安全中心是集数据资产分级分类、敏感数据识别、数据授权管理、敏感数据脱敏、敏感数据访问审计、风险识别与响应于一体的一站式数据安全治理界面，帮助用户落地数据安全治理事项。安全中心概述 ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
引擎与数据权限管控概述
引擎与数据权限控制 DataWorks空间成员获取不同引擎资源权限的方式不同，各引擎权限的详细说明如下表所示：引擎类型 权限说明 相关参考 MaxCompute引擎 预设角色 DataWorks空间级角色与MaxCompute引擎Role存在映射关系，使得授予空间预设...
功能发布记录（2022年）
美国（硅谷），美国（弗吉尼亚），阿联酋（迪拜）所有DataWorks用户 数据集成概述 DataWorks支持EMR新版数据湖DataLake DataWorks支持基于EMR计算引擎新版数据湖DataLake，实现基于EMR引擎的数据集成、数据建模、数据开发调度、数据质量、...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
运维中心入门
本文以周期调度任务的运维为例，通过确认调度任务的配置是否符合预期、使用补数据计算历史时间段的数据、配置任务的智能监控规则，保障任务后续可以正常调度，为您介绍运维中心模块的基本使用。前提条件 根据 数据开发：开发者 文档创建 ...
数据集市
数据集市是基于业务分类，面向特定应用场景或者产品的数据组织。通常位于数据应用层，依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。前提条件 已创建业务分类，用于对指定业务进行特定场景化的细分。详情请参见 业务...
文档更新动态（2024年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 新建Doris数据源 创建GreenPlum数据源 数据引入-离线集成-离线单条管道-组件库开发 ...
修饰词
数据域 当 数仓分层 配置为 汇总数据层 时，用于选择修饰词所属的数据域。关联维度 当 修饰词类型 选择 维度枚举修饰词 时，需配置修饰词关联的维度。关联标准代码 当 修饰词类型 选择 维度枚举修饰词 时，需配置修饰词关联的标准代码。...
功能发布记录 2022年之前
DataWorks开放租户、元数据、数据开发、运维中心、数据质量、数据服务等API，让您更加自由地使用DataWorks。说明 您需要购买DataWorks企业版及以上版本，才可以使用OpenAPI功能。2020.07.16 华东1（杭州）、华东2（上海）、华南1（深圳）、...
管理中心功能概览
例如，在配置数据集成任务前，可先在DataWorks数据源管理页面，配置好需同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过数据源名称来控制读取和写入的数据库或数据仓库。开源集群 在 开源集群 处，可管理已绑定至...
字段标准
字段标准是对含义相同但字段名称不同的数据进行统一规范管理的数据准则，字段标准可定义字段的取值范围、度量单位等内容。当字段标准发生变化时可快速定位或变更对应的表，极大地提升了应用效率和准确率。本文将为您介绍字段标准的创建方法...
周期任务基本运维操作
生产环境修改：说明 图示 修改单个任务责任人 批量修改任务责任人 说明 生产环境修改责任人会同步变更开发环境任务责任人。查看周期任务操作记录 入口 说明 图示 任务或实例的 操作日志 操作日志可以查看任务或实例的变更记录。节点 版本 ...
离线集成任务属性配置概述
配置项 描述 基本信息 包括任务名、ID、节点类型、开发负责人、运维责任人及描述。任务名：该任务创建时所填写的名称。节点ID：该节点的唯一标识，将在节点提交后生成。开发负责人：默认为当前用户,可选当前项目所有成员。说明 生产环境中...
离线集成任务属性配置概述
配置项 描述 基本信息 包括任务名、ID、节点类型、开发负责人、运维责任人及描述。任务名：该任务创建时所填写的名称。节点ID：该节点的唯一标识，将在节点提交后生成。开发负责人：默认为当前用户,可选当前项目所有成员。说明 生产环境中...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
- 产品推荐
- 这些文档可能帮助您