配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
镜像表和字段详情
③ 血缘 您展示数据表之间的血缘关系，表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时解析生产表血缘。详情请参见 表级血缘。说明 系统在任务提交...
镜像表和字段详情
③ 血缘 您展示数据表之间的血缘关系，表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时解析生产表血缘。详情请参见 表级血缘。说明 系统在任务提交...
元表和字段资产详情
③ 血缘 为您展示表之间的血缘关系，表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时解析生产表血缘。详情请参见 表级血缘。说明 系统在任务提交时...
元表和字段资产详情
③ 血缘 为您展示表之间的血缘关系，表级血缘 来源包括集成同步任务、自定义血缘的计算任务及系统可自动解析血缘的SQL计算任务和逻辑表任务。任务提交时解析开发表血缘，发布时解析生产表血缘。详情请参见 表级血缘。说明 系统在任务提交时...
StarRocks物理视图和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
管理数据集成任务
完成数据集成任务的配置后，您可以停止、恢复或删除该数据集成任务。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 数据集成任务支持的管理操作及对应的影响请参见下表。操作 影响 停止数据集成...
MaxCompute物理视图和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
逻辑视图和字段资产详情
取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的任务，以及节点输出名称=项目名.表名的任务。产出任务列表准实时更新...
逻辑视图和字段资产详情
取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的任务，以及节点输出名称=项目名.表名的任务。产出任务列表准实时更新...
MaxCompute/Hadoop物理视图和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
AnalyticDB for PostgreSQL物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
Hologres物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
Hologres物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
MaxCompute物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
MaxCompute物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
星环ArgoDB/TDH Inceptor物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
CDH/EMR/亚信/FI/CDP物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
逻辑表和字段资产详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
逻辑表和字段资产详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
StarRocks物理表和字段详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
物化视图和字段资产详情
勾选 仅展示当前表影响 后，默认展示当前表作为输入表的集成任务，取消勾选将展现当前及所有下游影响表作为输入表的集成任务，最多展示15层。④ 产出信息 产出任务包含该对象的数据写入任务、血缘自动解析或自定义配置以当前表为输出表的...
通过单条管道创建集成任务
说明 确认并提交离线集成任务后，系统将自动检查提交的离线集成任务，检查项包括配置检查、权限检查、表重复性检查。配置检查：包括管道检查和组件检查，检查配置项完整性。权限检查：包括检查数据源、表、及字段的权限；密钥使用权限；...
通过单条管道创建集成任务
说明 确认并提交离线集成任务后，系统将自动检查提交的离线集成任务，检查项包括配置检查、权限检查、表重复性检查。配置检查：包括管道检查和组件检查，检查配置项完整性。权限检查：包括检查数据源、表、及字段的权限；密钥使用权限；...
通过脚本模式创建集成任务
说明 确认并提交离线集成任务后，系统将自动检查提交的离线集成任务，检查项包括配置检查、权限检查、表重复性检查。配置检查：检查脚本配置是否完整。权限检查：包括检查数据源、表、及字段的权限；密钥使用权限；质量规则发布权限。表...
通过脚本模式创建集成任务
说明 确认并提交离线集成任务后，系统将自动检查提交的离线集成任务，检查项包括配置检查、权限检查、表重复性检查。配置检查：检查脚本配置是否完整。权限检查：包括检查数据源、表、及字段的权限；密钥使用权限；质量规则发布权限。表...
审批中心概述
数据集成任务审批流程 审批中心支持管理员按 源端、目的端 数据源的组合来定义需要被审批的数据集成任务，包括：在数据集成或数据开发页面保存任务等操作。例如，管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成...
数据集成审批策略
背景信息 支持管理员按 源端、目的端 数据源的组合来定义需要被审批的数据集成任务，包括：在数据集成或数据开发页面保存任务等操作。例如，管理员定义了 mysql_1 数据源作为源端、odps_1 数据源作为目的端的数据集成任务审批策略，则开发...
Dataphin集成任务报错"disk is over flow
问题描述 从MaxCompute到ADB的集成任务在执行过程中报错"disk is over flow。问题原因 因为用户在写入端填写了一条delete的预执行语句，报错是在执行这条delete语句时抛出的。根据报错内容可知，是ADB所在服务器磁盘溢出导致的。解决方案 ...
Dataphin集成任务报错Operation category READ is not...
问题描述 FTP到HDFS的集成任务报错“Operation category READ is not supported in state standby”，重试依然报同样的错误。解决方案 这是由于连接的hadoop节点处于standby状态造成的异常。通常Active NameNode对外提供服务，而Standby ...
Dataphin集成任务报错：“Error while processing ...
问题描述 Dataphin集成任务报错：“Error while processing statement：FAILED:Execution Error，return code 1 from*DDLTask，Error in getting fields from serde，Invalid Field null”。问题原因 用户的集成任务输入源是Hive，报错是...
配置RDS MySQL间的数据集成任务
本文以配置RDS MySQL间的数据集成任务为例，介绍数据集成任务的配置流程和注意事项。说明 新版DTS控制台暂不支持数据集成功能，您可以在数据管理DMS控制台配置离线集成任务，详情请参见 离线集成概述。支持全量数据迁移的数据源均支持数据...
Dataphin集成任务报错Failed XXX actions:...
产品名称 Dataphin 产品模块 数据集成 概述 本文为您介绍HBase数据库中Failed XXX actions:RegionTooBusyException:XXX times的错误原因，以及如何规避 问题描述 您配置的集成任务是从FTP到HBase，为什么在执行过程中会报写入hbase时发生IO...
数据集成调度策略说明
配置方法 您需要在配置数据集成任务的设置 迁移类型及列表 环节中，为数据集成任务配置调度策略。说明 相关配置案例，请参见 配置RDS MySQL间的数据集成任务。调度策略说明 调度策略 说明 适用场景 多副本模式 DTS根据调度周期，自动地将源...
产品简介
系统集成：可集成多个软件应用，使得它们可以作为一个协调的整体工作，提高工作效率。自动化监控与响应：监控关键性能指标，并在检测到问题时自动执行响应流程。基本概念 连接器（Connector）：用于连接不同系统和应用，使数据可以在不同...
HTTP触发器节点
如果您有其他调度系统，希望在调度系统的任务完成后触发DataWorks上的任务运行，您可以使用DataWorks的HTTP触发器节点功能。本文为您介绍外部调度系统触发场景下，使用DataWorks的HTTP触发器节点的流程和注意事项。前提条件 已开通...
DataWorks数据集成
无论是哪种应用场景，都可以通过DataWorks的数据集成功能完成数据的同步过程，详细的操作步骤（包括创建数据集成任务、数据源配置、作业配置、白名单配置等），请参考 DataWorks文档 中的使用指南->数据集成一栏。文章中余下部分会介绍 ...
网络规划
由于系统调用复杂、跨可用区调用等原因可能会增加系统的网络延迟。建议您对系统进行优化及适配，以满足您对高可用和低延迟的实际需求。具体使用多少个交换机还和系统规模、系统规划有关。如果前端系统可以被公网访问并且有主动访问公网的...
数据集成概述
旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据集成的效率，详情请参见 通过整库迁移配置集成任务。支持 流程 和 转换...
- 产品推荐
- 这些文档可能帮助您