从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建两个数据同步作业。同步操作类型 根据业务选中需要同步的操作类型，支持的同步操作详情请参见 支持同步的SQL操作，默认情况下都处于选中状态。选择同步对象 在 源库对象 ...
从ECS上的自建SQL Server同步至云原生数据仓库...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步作业。选择为 否：默认选项。同步操作类型 根据业务选中需要同步的操作类型，默认情况下都处于选中状态。选择同步对象 在 源库对象 框中单击待迁移的对象，...
从ECS上的自建SQL Server同步至云原生数据仓库...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步作业。选择为 否：默认选项。同步操作类型 根据业务选中需要同步的操作类型，默认情况下都处于选中状态。选择同步对象 在 源库对象 框中单击待迁移的对象，...
Db2 for LUW同步至AnalyticDB MySQL版 3.0
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。目标库对象名称大小写策略 您可以配置目标...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。源库对象 在 源库对象 框中单击待同步对象...
自建Oracle同步至云原生数据仓库AnalyticDB ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。实例级别选择所需同步的DDL和DML 按实例...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您需要创建两个数据同步任务。警告 源库请勿执行库或表结构变更的DDL操作，否则会导致数据不一致或者同步任务失败。选择为 否：默认选项。目标库对象名称大小写策略 您可以配置目标...
自建Oracle同步至云原生数据仓库AnalyticDB ...
执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量...
通过数据同步功能同步SLS至湖仓版（推荐）
例如，两个数据同步任务的OSS路径分别为oss:/adb_demo/test/sls1/和oss:/adb_demo/test/，OSS路径有相互前缀关系，数据同步过程中会有数据覆盖。目标库表配置 的参数说明如下：参数名称 参数说明 库名 同步到 湖仓版（3.0）的数据库名称。...
通过数据同步功能同步Kafka至湖仓版（推荐）
例如，两个数据同步任务的OSS路径分别为oss:/adb_demo/test/sls1/和oss:/adb_demo/test/，OSS路径有相互前缀关系，数据同步过程中会有数据覆盖。目标库表配置 参数说明如下：参数名称 参数说明 库名 同步到 AnalyticDB MySQL 的数据库名称...
LogHub（SLS）实时ETL同步至Hologres
执行状态：Loghub到Hologres的实时同步任务分为 结构迁移 和 实时数据同步 两个步骤，您可以查看任务执行状态。详细信息：您可以查看 结构迁移 和 实时数据同步 的执行详情。结构迁移 中包含目标表的创建方式（已有表或自动建表），如果是...
Kafka实时ETL同步至Hologres
执行状态：Kafka到Hologres的同步任务分为 结构迁移 和 实时数据同步 两个步骤，您可以查看任务执行状态。详细信息：您可以查看 结构迁移 以及 实时数据同步 的执行详情。结构迁移 中包含目标表的创建方式（已有表或自动建表），如果是自动...
Kafka单表实时入湖OSS（HUDI）
执行状态：Kafka到OSS的同步任务分为 结构迁移 和 实时数据同步 两个步骤，您可以查看任务执行状态。详细信息：您可以查看 结构迁移 以及 实时同步 的执行详情。结构迁移 中包含目标表的创建方式（已有表或自动建表），如果是自动建表，将...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
数据迁移、同步和恢复区别
数据同步主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
数据同步主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
数据同步主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
数据同步主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
RDS PostgreSQL间的双向同步
重要 由于数据同步两端的系统时间可能存在差异、同步存在延时等多种因素，DTS无法完全保证冲突检测机制能够完全防止数据的冲突。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向...
RDS PostgreSQL间的双向同步
重要 由于数据同步两端的系统时间可能存在差异、同步存在延时等多种因素，DTS无法完全保证冲突检测机制能够完全防止数据的冲突。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向...
购买同步实例
调用CreateSynchronizationJob接口购买一个数据同步实例。请确保在使用该接口前，已充分了解云数据库DTS产品的收费方式和 价格。购买完成后，需要调用接口 ConfigureSynchronizationJob 配置同步任务，才能成功启动同步任务。调试 您可以在...
同步时源库为PostgreSQL的注意事项及限制
其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，您需要为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用RENAME命令重建了待同步的表，您需要在对该表...
配置ClickHouse输出组件
如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步的速度取决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写...
配置ClickHouse输出组件
如果您同时配置了 批量插入字节大小 和 批量条数 两个参数，则数据同步的速度取决于第一个达到预设值的参数。解析方案 解析方案用于自定义数据写入至ClickHouse数据源前和数据写入至ClickHouse数据源后的一些特殊处理。解析方案 包括 填写...
数据同步拓扑介绍
数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。本文介绍DTS支持的同步拓扑类型和使用说明。单向同步 在单向同步的拓扑中，为保障同步数据的一致性，对目标实例中的同步对象应只进行读操作，请勿进行写操作。拓扑类型...
实时数据同步
实时同步功能旨在帮助用户实现两个数据源之间的数据实时同步。可应用于数据异地灾备、数据库扩缩容、跨境数据同步、查询与报表分流、云 BI...数据同步支持库、表、列名映射，即您可以进行不同库名之间的数据，或两个不同表名之间的数据同步。
应用场景
读写分离应用 云数据库MongoDB采用三节点副本集的高可用架构，三个数据节点位于不同的物理服务器上，自动同步数据。Primary节点和Secondary节点提供服务，两个节点分别拥有独立域名，配合MongoDB Driver实现读取压力分配。关于架构说明的...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
数据同步支持库、表、列名映射，您可以进行不同库名之间的数据或两个不同表名之间的数据同步。注意事项 配置同步链路 过程中，如果目标表中列信息与源表不同，DTS支持字段映射功能。详细步骤，请参见 库表列映射。如果需要同步的表数量较少...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
DB2数据源
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数，该值决定了数据同步系统和服务器端的网络交互次数，能够较大的提升数据抽取性能。说明 fetchSize 值过大（>2048）可能造成数据同步进程OOM。否 1024 Writer脚本...
入仓解决方案
主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。支持的数据库 请参见 迁移...
配置数据层
配置异地应用双活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
通过DTS导入数据
执行数据同步前需评估源库和目标库的性能，同时建议在业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。在数据同步时，请勿对源库的同步对象使用pt-online-schema-change等...
MySQL整库周期性增全量同步至Hive
本实践以MySQL作为来源数据源，以Hive作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和Hive数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、Hive数据源。已购买独享数据集成资源组，并为...
MySQL整库周期性增全量同步至MaxCompute
本实践以MySQL作为来源数据源，以MaxCompute作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和MaxCompute数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、MaxCompute数据源。已购买独享数据...
Hologres整库周期性增全量同步至MaxCompute
本实践以Hologres作为来源数据源，以MaxCompute作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Hologres数据源和MaxCompute数据源，两个数据源支持的数据同步能力请参见 Hologres数据源、MaxCompute数据源。...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本实践以AnalyticDB for MySQL3.0作为来源数据源，以Hologres作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增AnalyticDB for MySQL3.0数据源和Hologres数据源，两个数据源支持的数据同步能力请参见 AnalyticDB for...
多可用区部署
最终一致：如果将表设置为最终一致（也称为弱一致），那么表的主备Partition都可以读写，Replica Consensus协议是将可用区A写入的数据同步至可用区B中，由于数据同步是异步的，所以两个副本之间的数据会存在不一致（通常在100ms量级）。...
- 产品推荐
- 这些文档可能帮助您