配置同步任务中的数据来源和去向
双击 步骤3 中创建的节点，配置数据同步任务的 数据来源（Reader）、数据去向（Writer）、字段映射、通道控制 信息。数据来源（Reader）配置信息：配置项 说明 数据源 选择 SQLServer，系统将自动关联 配置SQLServer数据源 时设置的数据源...
构建全量数据索引
查看全量数据同步任务 进入Shell访问环境，具体操作请参见 通过Lindorm Shell访问宽表引擎。执行以下命令为宽表 testTable 的全量数据构建索引，命令是异步执行的。build_external_index 'testTable' 查看全量数据同步任务的进度。全量数据...
Vertica数据源
数据同步任务开发 Vertica数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作...
KingbaseES（人大金仓）数据源
数据同步任务开发 KingbaseES数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，...
使用场景
包含但不限于如下场景：数据迁移与同步 使用DMS任务编排配置和管理数据迁移或数据同步任务，将数据从一个数据源迁移到另一个数据源，或实现同数据源、不同数据源之间的数据实时同步。数据清洗与加工 DMS任务编排可以用于数据清洗和加工任务...
DataHub数据源
数据同步任务开发 DataHub数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作...
从ECS上的自建MySQL同步至RDS
重要 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。如果预检查失败，单击具体检查项后的，查看失败详情。您可以根据提示修复后重新进行预检查。如无需修复告警检测项，您也可以选择 确认屏蔽...
AnalyticDB for PostgreSQL数据源
数据同步任务开发 AnalyticDB for PostgreSQL数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个...
通过数据同步功能同步Kafka至湖仓版（推荐）
说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。JSON解析层级和Schema字段推断示例 解析层级指按相应层数解析出JSON中的字段...
常见问题
以下为您介绍实时同步数据至Hologres操作失败的常见问题和解决方案。...pls check.you need(at least one of)the SUPER,REPLICATION CLIENT privilege(s)for this operation 报错内容：数据同步任务执行时，实时任务运行失败，错误提示为 ...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
重要 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。如果预检查失败，单击具体检查项后的，查看失败详情。您可以根据提示修复后重新进行预检查。如无需修复告警检测项，您也可以选择 确认屏蔽...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从...说明 当数据源下存在数据同步或数据迁移任务时，此数据源无法直接删除，需先在 数据同步 页面，单击目标同步任务 操作 列的 删除，删除数据同步或数据迁移任务。
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。...后续步骤 添加完数据源后，需要同步数据源中的元数据后才能创建数据同步任务，具体操作，请参见 获取物理表。
从ECS上的自建MySQL同步至RDS
重要 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。如果预检查失败，单击具体检查项后的，查看失败详情。您可以根据提示修复后重新进行预检查。如无需修复告警检测项，您也可以选择 确认屏蔽...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。...后续步骤 添加完数据源后，需要同步数据源中的元数据后才能创建数据同步任务，具体操作，请参见 获取物理表。
SAP HANA数据源
数据同步任务开发 数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数的文案提示。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请...
RDS MySQL实例间的单向同步
操作步骤 购买数据同步实例，详情请参见 购买数据同步任务。说明 购买时，选择源实例和目标实例均选择为 MySQL，并选择同步拓扑为 单向同步。登录 数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择数据同步...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
重要 在数据同步任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动数据同步任务。如果预检查失败，单击具体检查项后的，查看失败详情。您可以根据提示修复后重新进行预检查。如无需修复告警检测项，您也可以选择 确认屏蔽...
RDS MySQL实例间的单向同步
操作步骤 购买数据同步实例，详情请参见 购买数据同步任务。说明 购买时，选择源实例和目标实例均选择为 MySQL，并选择同步拓扑为 单向同步。登录 数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择数据同步...
Doris数据源
数据同步任务开发：Doris同步流程指导 创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 创建并管理数据源。下面对Doris数据源的几个配置项进行说明：JdbcUrl：请填写JDBC连接串，包含IP、...
数据源开发和生产环境隔离
删除生产环境的数据源：需确认是否存在生产环境关联的同步任务，删除后，在开发环境使用此数据源配置的同步任务将不能提交生产发布。如果生产环境在使用此数据源配置的同步任务，删除后，生产环境任务不可正常运行。选择 勾选后，可以进行...
使用DataWorks同步数据
导入前准备语句 执行数据同步任务之前率先执行的SQL语句。导入后完成语句 执行数据同步任务之后执行的SQL语句。批量插入字节大小 批量插入数据的最大字节数。批量条数 批量插入数据的条数。（可选）字段映射：您可以选择字段的映射关系，...
计费说明-全托管
000 4500 60C240G 101,500 5000 60C240G 110,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）+明细逻辑表总数+[向上取整（指标数/10）]其中：前200个数据集成任务不纳入统计，...
通过DataWorks导入数据
数据同步任务开发 新增数据源 在进行数据同步任务开发时，您需要在DataWorks上分别创建MySQL和SelectDB数据源。创建MySQL数据源，详情请参见 MySQL数据源。创建SelectDB数据源，详情请参见 创建并管理数据源。SelectDB数据源的部分配置参数...
配置SQLServer数据源
您需要测试每个资源组的连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。如果您需要同时测试多种资源组，请选中相应资源组后，单击 批量测试连通性。详情请参见 配置资源组与网络连通。说明...
开启多表归并
根据提示和参考文档，完成后续的数据同步任务配置。若您在步骤 3 中选择 自定义_dts_data_source标签列的值 为 是，您还要在 配置库表字段 阶段设置 标签列_dts_data_source的值。说明 标签列_dts_data_source的值 不可重复。
RDS MySQL同步至Tair/Redis
Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功启动数据同步任务。参数设置方法，请参见 设置实例参数。重要 若源实例为自建MySQL，则需开启Binlog，并且设置binlog_...
计费说明-半托管
智能研发版定价 数据处理单元规格 定价（CNY/年）500 298,000 1000 397,800 1500 497,600 2000 597,400 2500 697,200 3000 797,000 数据处理单元统计规则：数据处理单元总量=（数据同步任务数+数据集成任务数）/3+计算任务数（离线和实时）...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
迁移或同步指定时间段内的数据
一键迁移 您可以在一键迁移中同时配置历史迁移任务和实时数据同步任务。在LTS控制台的左侧导航栏，选择 Lindorm/HBase迁移>一键迁移。单击 创建任务。按需填写并勾选相关参数和操作：源集群、目标集群、表结构迁移、实时数据复制、历史数据...
Amazon S3数据源
支持的字段类型 类型分类 数据集成column配置类型 S3数据类型 整数类 LONG LONG 浮点类 DOUBLE DOUBLE 字符串类 STRING STRING 日期时间类 DATE DATE 布尔型 BOOL BOOL 数据同步任务开发 Amazon S3数据同步任务的配置入口和通用配置流程...
FTP数据源
DataX内部类型 远程FTP文件数据类型 LONG LONG DOUBLE DOUBLE STRING STRING BOOLEAN BOOLEAN DATE DATE 数据同步任务开发 FTP数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面查看对应参数...
HttpFile数据源
DATE 日期时间类型，支持以下日期时间格式：yyyy-MM-dd HH:mm:ss yyyy-MM-dd HH:mm:ss 数据同步任务开发：HttpFile同步流程引导 HttpFile数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面...
数据传输与迁移概述
流数据同步任务写入 DataHub数据同步MaxCompute。KafKa数据同步MaxCompute。自定义写入 SDK写入-流式数据通道（Streaming Tunnel）。离线数据批量数据写入（外表-湖仓一体）场景特征：主要用于数据联邦查询分析，偶尔需要对数据进行搬运。...
在工作空间创建数据源或注册集群
如需基于集群的某个组件执行数据同步任务，则需将该组件创建为相应的数据源，详情请参见 支持的数据源及同步方案。更多数据源或集群的介绍，详情请参见 创建并管理数据源。前提条件 已创建工作空间，详情请参见 创建工作空间。已购买所需...
采集数据
说明 DataWorks为您提供了独享数据集成资源组供您使用，公共数据集成（调试）资源组即将下线，详情请参见 DataWorks公共数据集成（调试）资源组下线公告，建议数据同步任务均使用独享数据集成资源组。购买独享数据集成资源组。登录并进入 ...
DataWorks节点合集
数据集成同步类节点 用于数据同步任务使用，数据集成类型节点介绍如下。数据集成节点 使用介绍 离线同步节点 用于离线（批量）数据周期性同步场景，并且支持复杂场景下多种异构数据源间数据同步。离线同步支持的数据源详情，请参见 支持的...
同步任务的注意事项及限制
为保障数据同步任务的正常运行，DTS对不同的数据库存在使用上的限制。概览 根据同步任务的源库类型，查看其注意事项及限制：源库为MySQL的注意事项及限制 源库为PolarDB MySQL的注意事项及限制 源库为PolarDB-X 2.0的注意事项及限制 源库为...
采集数据
说明 DataWorks为您提供了独享数据集成资源组供您使用，公共数据集成（调试）资源组即将下线，详情请参见 DataWorks公共数据集成（调试）资源组下线公告，建议数据同步任务均使用独享数据集成资源组。购买独享数据集成资源组。登录并进入 ...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
- 产品推荐
- 这些文档可能帮助您