文档修订记录
EMR Hive数据整库离线同步至MaxCompute 2023.4.17 优化体验 管理控制 在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
内容检测API
在什么情况下内容安全直播流检测code会返回200？内容安全异步接口是否支持一次任务回调多条数据？不支持。如何解决网页审核检测结果欠佳的情况？目前网页审核功能不支持新用户购买，之前已经购买的用户仍然可以使用，但是该功能的检测结果...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
库表列名映射
同步任务：同步类型 默认已勾选 增量同步，您还需勾选 库表结构同步，请根据实际情况选择是否勾选 全量同步。指定目标库实例中接收数据的对象，例如将多张库表聚合成大表。需要提前在目标库实例中创建用于接收数据的对象，并确保数据的兼容...
流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
一键克隆RDS MySQL至PolarDB MySQL版
常见问题 Q：一键升级RDS MySQL至 和一键克隆RDS MySQL至 PolarDB MySQL版 两者有什么区别？A：两者间的区别如下表：对比项 一键升级RDS MySQL至 一键克隆RDS MySQL至 PolarDB MySQL版 是否支持迁移或同步增量数据 支持 不支持 是否影响源...
暂停DTS实例
常见问题 实例暂停后是什么状态？实例暂停后，运行状态 将会变为 已暂停。暂停的实例启动后是否可以恢复？一般情况下，暂停时间不超过24小时的DTS任务可以正常恢复；若数据量较小，则暂停时间不超过7天的DTS任务可以正常恢复。建议暂停时间...
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
功能特性
MySQL实例间的双向同步 PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步 RDS PostgreSQL间的双向同步 云数据库MongoDB版间的双向同步 云原生内存数据库Tair间的双向同步 一键调转正反向同步 支持将双向同步实例的方向进行调转。...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
PolarDB-X 2.0同步至Tablestore
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 同步至表格存储Tablestore。前提条件 已创建Tablestore实例。具体操作，请参见 使用流程。已获取Tablestore实例所属阿里云账号（主账号）的AccessKey ID和AccessKey ...
Db2 for LUW同步至AnalyticDB MySQL版 3.0
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 准备工作 创建账号并授予...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 在数据写入到 云原生...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
PolarDB-X 1.0同步至PolarDB-X 2.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 PolarDB-X 2.0 实例。前提条件 源 PolarDB-X 1.0 的存储类型支持为RDS MySQL（包括私有定制RDS和单独购买的RDS），暂不支持为 PolarDB MySQL版。...
PolarDB-X 2.0同步至PolarDB MySQL版
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB-X 2.0 同步至 PolarDB MySQL版。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。已创建目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 ...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 1.0 同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 PolarDB-X 1.0 的存储类型需为RDS MySQL，暂不支持为PolarDB...
PolarDB-X 2.0同步至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 RDS MySQL，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。已创建目标 RDS MySQL 实例，创建方式，请...
8、如何做好迭代复盘？
同样，我们也梳理了迭代复盘会需要相关同学做准备的事项（如下表），供大家参考：活动名称 迭代复盘会 活动目标 从整体上了解团队的研发效能情况，及时发现研发过程的问题，通过问题分解和深入分析，找出问题根因和改进点，从而驱动团队的...
PolarDB-X 2.0同步至阿里云消息队列Kafka
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至阿里云消息队列Kafka，实现增量数据的实时同步。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标Kafka实例的版本请参见 数据库...
PolarDB-X 1.0同步至PolarDB MySQL版
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 数据库账号的权限要求 ...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 的数据同步至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您轻松实现数据的流转。通过 AnalyticDB PostgreSQL版 提供的数据在线分析服务和离线数据处理功能，您可以对...
RDS MariaDB同步至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持将MariaDB的数据同步至 RDS MySQL 实例，本文以 RDS MariaDB 为源数据库为您介绍同步操作的步骤。前提条件 已创建存储空间大于 RDS MariaDB 的目标 RDS MySQL 实例。创建方式，请参见 ...
PolarDB-X 2.0同步至自建Oracle
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 同步至自建Oracle。前提条件 已创建用于接收数据的自建Oracle，且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的...
PolarDB-X 2.0间的单向同步
使用数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 2.0 间的单向数据同步。前提条件 已创建源和目标 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标 PolarDB-X 2.0 实例的存储空间须大于源 PolarDB-X 2.0 实例占用...
PolarDB PostgreSQL版间的同步
若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为 dts_sync_的replication slot用于复制数据。通过该replication slot，DTS...
PolarDB PostgreSQL版（兼容Oracle）集群同步至...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB PostgreSQL版（兼容Oracle）集群同步至 云原生数据仓库AnalyticDB MySQL版 3.0。前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL版 3.0，详情请参见 创建集群。源 ...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
RDS MySQL同步至PolarDB-X 2.0
通过数据传输服务DTS（Data Transmission Service），您可以将RDS MySQL同步至 PolarDB分布式版。支持的源数据库 MySQL同步至 PolarDB分布式版 实例，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源数据...
MySQL实例间的双向同步
若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
PolarDB MySQL版间的同步
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 级联双向同步 多对一单向同步 一对一双向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、...
MySQL实例间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
RDS MySQL与PolarDB MySQL版间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
- 产品推荐
- 这些文档可能帮助您