开发管控：管理者
开放平台扩展程序 扩展程序概述 测试应用扩展程序 流程管控展示 数据治理检查项 数据治理中心概述 配置治理项 数据建模：数据建模系统管理 说明 标准模式工作空间的发布操作默认为同空间发布，若您存在跨空间、跨云发布场景，则可选择使用...
ListProjectIds
返回数据 名称 类型 示例值 描述 ProjectIds List 75777 返回的DataWorks工作空间ID。返回结果为目标阿里云账号所拥有角色权限的DataWorks工作空间的ID列表，此处仅以一个工作空间ID示例。RequestId String 0b57ff7216278945532771749d*...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置并管理实时同步任务
如果您前一步中目标数据源使用的 Topic建立方式 为 自动建Topic，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标DataHub Topic。运行资源设置。在 运行资源设置 页面，配置各项参数。参数 描述 来源端读取支持最大连接数 ...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标 AnalyticDB for MySQL 表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置Impala输出组件
同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源。进行...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
敏感数据访问及导出情况
单击左上方的 图标，选择 全部产品>数据治理>数据保护伞，单击 立即体验，进入数据保护伞。说明 若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
配置Impala输出组件
同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源。进行...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
资产应用概述
Dataphin标签平台提供了标签的离线服务，可将标签的数据周期性的导出到目标数据源；画像服务可提供通过实体ID查询个体画像的服务；标签平台也提供了实时查询实体ID对应的标签值的能力，也可通过API分页查询群组ID及对应的标签值。权限说明 ...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
配置StarRocks输出组件
同步其他数据源的数据至StarRocks数据源的场景中，完成源数据源的信息配置后，需要配置StarRocks输出组件写入数据的目标数据源。本文为您介绍如何配置StarRocks输出组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
配置StarRocks输出组件
同步其他数据源的数据至StarRocks数据源的场景中，完成源数据源的信息配置后，需要配置StarRocks输出组件写入数据的目标数据源。本文为您介绍如何配置StarRocks输出组件。前提条件 已创建StarRocks数据源，如何创建，请参见 创建StarRocks...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
处理检查项事件
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理中心，在下拉框中选择对应工作空间后单击 进入数据治理中心。单击顶部菜单栏的 治理工作台，在 治理工作台 页面的左侧导航栏单击 检查项事件，进入 检查项事件...
数据模型概述
DDM目前支持逻辑模型和物理模型建模，其中物理模型又分为关系型数据模型和非关系型数据模型，支持的大数据引擎为MaxCompute、Hive。说明 Hadoop的MR调优参数属于底层，DDM是数据建模工具，支持设置表、字段等物理属性。
功能发布记录（2023年）
2023.10.30 西南1（成都）华北3（张家口）华北2（北京）华东2（上海）华南1（深圳）华东1（杭州）华北6（乌兰察布）报名参加邀测的用户 使用Copilot+增强分析实现一站式智能数据查询与可视化 数据治理中心新增治理计划 治理计划可帮助数据...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。
查看治理结果
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理中心，在下拉框中选择对应工作空间后单击 进入数据治理中心。单击顶部菜单栏的 治理评估，进入 治理评估 页面。在该页面，您可以通过治理评估报告或治理排行榜...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
无效问题添加白名单
DataWorks的数据治理中心支持将无需处理的治理项问题添加至白名单，并将所有白名单集成至白名单管理页面统一管理。治理项问题被加入白名单后，该问题在白名单的有效期内不会被检测出来。本文为您介绍如何查看并管理白名单。前提条件 已使用...
概述
DataWorks的安全中心作为云上大数据体系的安全门户，致力于向您提供面向数据安全生命周期全过程的安全能力，同时在符合安全规范要求的前提下，提供各类安全诊断的最佳实践。其核心功能如下：数据权限管理 安全中心为您提供精细化的数据权限...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
快速体验
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
透视分析：按资源类型
登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理>数据治理中心，在下拉框中选择对应工作空间后单击 进入数据治理中心。单击顶部菜单栏的 使用分析，在左侧导航栏 资源类型透视 类目下，按照资源类型进行透视分析。资源...
创建及管理标签离线服务任务
字段映射 目标数据源 选择离线服务对应的目标数据源。目标数据源可为离线服务的项目或在Dataphin创建的 MySQL、Oracle、AnalyticDB for PostgreSQL、Greenplum 数据源。说明 项目的目标数据源仅支持当前账号加入的项目（通用 与 标签项目）...
创建Teradata数据源
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
新建Doris数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
- 产品推荐
- 这些文档可能帮助您