配置并管理实时同步任务
如果您前一步中目标数据源使用的 Topic建立方式 为 自动建Topic，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标DataHub Topic。运行资源设置。在 运行资源设置 页面，配置各项参数。参数 描述 来源端读取支持最大连接数 ...
配置并管理实时同步任务
正常处理：源端DML消息将会继续下发给目标数据源，由目标数据源来处理。忽略：直接丢弃该消息，不再向目标数据源发送对应的DML消息，对应数据不会改变。有条件的正常处理：选择后，您可以配置过滤条件，同步任务将按照您配置的过滤表达式对...
离线同步并发和限流之间的关系
脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏数据是指数据条目在写入目标数据源过程中发生了异常，则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性，目前策略是写入失败的数据均被归类于脏数据。在一些数据...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标 AnalyticDB for MySQL 表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认...
配置并管理实时同步任务
单击 下一步 如果您前一步中目标数据源使用的 表建立方式 为 自动建表，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标MaxCompute表。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认处理策略，您也...
配置并管理实时同步任务
如果您前一步中目标数据源使用的 Topic建立方式 为 自动建Topic，则需要在弹出的 自动建表 对话框，单击 开始建表，批量创建目标Kafka Topic。运行资源设置。在 运行资源设置 页面，配置各项参数。参数 描述 来源端读取支持最大连接数 读取...
使用执行计划分析查询
诊断结果 单击执行计划树中某个Stage（如 Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
写数据表
计算资源类型 选择需要同步到的目标数据源的类型，目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期（可选）设置目标表的留存天数，如未设置，默认将保留1...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置PolarDB-X输出组件
追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
添加数据
删除数据 单个删除：在数据列表，单击目标数据 操作 列的 更多，选择 删除，删除目标数据。批量删除：在数据列表，选中一个或者多个目标数据，单击页面左下角的 批量删除，批量删除数据。发布服务 在数据列表，单击目标数据 操作 列的 发布...
流量回放和压测
说明 如果您想分析压测前后，源数据库实例与目标数据库实例上SQL模板的执行性能差异，目标数据库实例也需要开启DAS 企业版。SQL模板的执行性能差异可用来应对数据库引擎升级、规格切换等业务场景。不支持政务云和金融云下的数据库实例。...
智能压测
说明 如果您想分析压测前后，源数据库实例与目标数据库实例上SQL模板的执行性能差异，目标数据库实例也需要开启DAS 企业版。SQL模板的执行性能差异可用来应对数据库引擎升级、规格切换等业务场景。不支持政务云和金融云下的数据库实例。...
数据方案概览
结构同步 支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。影子表同步 支持根据源表的表结构自动在当前库中创建影子表，支持周期性同步。空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步...
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
配置GBase 8a输出组件
同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置GoldenDB输出组件
同步其他数据源的数据至GoldenDB数据源的场景中，完成源数据源的信息配置后，需要配置GoldenDB输出组件写入数据的目标数据源。本文为您介绍如何配置GoldenDB输出组件。前提条件 已创建GoldenDB数据源，如何创建，请参见 创建GoldenDB数据源...
配置Impala输出组件
同步其他数据源的数据至Impala数据源的场景中，完成源数据源的信息配置后，需要配置Impala输出组件写入数据的目标数据源。本文为您介绍如何配置Impala输出组件。前提条件 已创建Impala数据源，如何创建，请参见 创建Impala数据源。进行...
创建及管理标签离线服务任务
字段映射 目标数据源 选择离线服务对应的目标数据源。目标数据源可为离线服务的项目或在Dataphin创建的 MySQL、Oracle、AnalyticDB for PostgreSQL、Greenplum 数据源。说明 项目的目标数据源仅支持当前账号加入的项目（通用 与 标签项目）...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
目标数据库连接性检查
为保障数据迁移任务的顺利执行，在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时，可能是以下几种原因。数据库账号或数据库密码不...
修复同步作业预检查失败的问题
数据同步作业中配置的目标数据库账号权限不足。手动在目标实例中创建满足要求的数据库或调整数据库账号。源库权限检查 数据同步作业中配置的数据库账号的权限不足，例如检查项为dts.precheck.Unexpected error时检查失败。说明 不同类型...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
配置转换组件
将鼠标指针移动至已完成配置的目标数据源上，单击圆点拉出连接线，连接目标数据源和 表 Join-1。单击画布区域的 表 Join-1，根据页面信息配置转换组件。在 节点配置 页签，设置以下参数，配置节点信息。区域 参数 说明 转换名称 请输入转换...
新建数据处理任务
系统提供数据处理能力，包括倾斜数据处理、地形数据处理、三维模型处理、影像优化处理。本文以新建倾斜数据处理任务为例，介绍如何新建数据处理任务。前提条件 已添加空间元数据，具体操作，请参见 添加数据。已添加OSS类型云计算资源。...
- 产品推荐
- 这些文档可能帮助您