RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
测试分析及调优
接着看关键指标是否满足要求，如果不满足，需要确定是哪个地方有问题，一般情况下，服务器端问题可能性比较大，也有可能是客户端问题（这种情况非常小）。对于服务器端问题，需要定位的是硬件相关指标，例如CPU，Memory，Disk I/O，Network...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
OSS数据源
OSS数据源为您提供读取和写入OSS的双向通道，本文为您介绍DataWorks的OSS数据同步的能力支持情况。支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能，OSS本身是无结构化数据存储。对于数据集成而言...
PolarDB-X 2.0同步至Tablestore
数据传输服务DTS（Data Transmission Service）支持将 PolarDB-X 2.0 同步至表格存储Tablestore。前提条件 已创建Tablestore实例。具体操作，请参见 使用流程。已获取Tablestore实例所属阿里云账号（主账号）的AccessKey ID和AccessKey ...
云数据库MongoDB版（副本集架构）同步至云数据库...
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 级联单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 ...
云数据库MongoDB版（副本集架构）同步至云数据库...
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 级联单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 ...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
云数据库MongoDB版（副本集架构）间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
云数据库MongoDB版（副本集架构）间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
云数据库MongoDB版（分片集群架构）间的双向同步
说明 若您需设置条件过滤数据（全量同步阶段支持条件过滤数据，增量同步阶段不支持条件数据过滤），请在 已选择对象 中右击待同步的表，在弹出的对话框中设置过滤条件。设置方法请参见 设置过滤条件。如果使用了对象名映射功能（指定用于...
云数据库MongoDB版（分片集群架构）间的双向同步
说明 若您需设置条件过滤数据（全量同步阶段支持条件过滤数据，增量同步阶段不支持条件数据过滤），请在 已选择对象 中右击待同步的表，在弹出的对话框中设置过滤条件。设置方法请参见 设置过滤条件。如果使用了对象名映射功能（指定用于...
云数据库MongoDB版（分片集群架构）同步至云数据库...
数据传输服务DTS（Data Transmission Service）支持将MongoDB（分片集群架构）的数据同步至MongoDB（副本集架构或分片集群架构）。本文以 云数据库MongoDB版 实例间的数据同步为例，为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）同步至云数据库...
数据传输服务DTS（Data Transmission Service）支持将MongoDB（分片集群架构）的数据同步至MongoDB（副本集架构或分片集群架构）。本文以 云数据库MongoDB版 实例间的数据同步为例，为您介绍操作步骤。前提条件 已创建目标 云数据库MongoDB...
通过配置文件管理管道
通过Logstash同步MySQL数据的最佳实践文档：通过Logstash将RDS MySQL数据同步至Elasticsearch 通过Logstash同步日志数据的文档：logstash-input-sls插件使用说明 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 常见问题 管道...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
查看作业性能
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
小版本更新说明
优化配置，减少RegionServer被写出OOM的情况出现，减少大范围scan对服务端的内存消耗。优化内核。1.4.6.3：修复IndexTool的数据表为小写表名字时找不到索引表问题。修复客户端配置时区失效问题（当前默认时区GTM）。优化默认配置参数，更...
FTP数据源
FTP数据源为您提供读取和写入FTP双向通道的功能，本文为您介绍DataWorks的FTP数据同步的能力支持情况。使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，...
一键克隆RDS MySQL至PolarDB MySQL版
常见问题 Q：一键升级RDS MySQL至 和一键克隆RDS MySQL至 PolarDB MySQL版 两者有什么区别？A：两者间的区别如下表：对比项 一键升级RDS MySQL至 一键克隆RDS MySQL至 PolarDB MySQL版 是否支持迁移或同步增量数据 支持 不支持 是否影响源...
实时同步任务延迟解决方案
确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。详情请参见 实时同步任务运行与管理。在任务运行详情...
版本说明
ons-client-1.7.8.Final 更多历史版本 1.7.7.Final 发布时间 发布内容 下载 2018-04-25 问题修复 同一个进程内初始化多个Consumer或Producer实例的情况下，消息轨迹发送失败的问题，该问题在1.7.5.Final和1.7.6.Final版本中存在，建议进行...
暂停DTS实例
常见问题 实例暂停后是什么状态？实例暂停后，运行状态 将会变为 已暂停。暂停的实例启动后是否可以恢复？一般情况下，暂停时间不超过24小时的DTS任务可以正常恢复；若数据量较小，则暂停时间不超过7天的DTS任务可以正常恢复。建议暂停时间...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
创建同步ElasticSearch
因为导入字段并不能完全决定最后生成的数据，因此不再给出示例，下文会给出完整的数据同步示例。8.网络类型 需要根据ES示例的类型选择,因为目前公有云上的ES实例均为VPC实例，所以DataHub公有云同步ES任务只支持VPC网络类型。使用VPC网络...
功能特性
MySQL实例间的双向同步 PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步 RDS PostgreSQL间的双向同步 云数据库MongoDB版间的双向同步 云原生内存数据库Tair间的双向同步 一键调转正反向同步 支持将双向同步实例的方向进行调转。...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库的数据至 Kafka
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 Kafka。背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用...
MongoDB小版本说明
修复全量同步时，count 命令返回负数导致同步中断的问题，更多信息，请参见 SERVER-35050。修正磁盘满锁返回结果。修复IPv6访问问题。4.0.10 2020-10-29 4.2.1 默认开启流控。修复执行 mapReduce 命令时，Secondary节点崩溃退出的问题。4.0...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
PolarDB数据源
常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer...
库表列名映射
同步任务：同步类型 默认已勾选 增量同步，您还需勾选 库表结构同步，请根据实际情况选择是否勾选 全量同步。指定目标库实例中接收数据的对象，例如将多张库表聚合成大表。需要提前在目标库实例中创建用于接收数据的对象，并确保数据的兼容...
实时同步任务运维
当您在DataStudio中完成任务开发，并发布至生产环境后，您可以进入运维中心运行实时同步任务，同时，您还可以在运维中心监控任务运行状态、查看任务运行指标等。本文列举实时同步任务的常见运维操作...常见问题 为什么实时同步任务延迟较大？
PolarDB-X 2.0同步至PolarDB MySQL版
使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB-X 2.0 同步至 PolarDB MySQL版。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。已创建目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 ...
- 产品推荐
- 这些文档可能帮助您