创建 RDS 实例用户及授权
不支持 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）目标端 RDS 实例普通账号授权 表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL...
创建 PolarDB 实例用户及授权
不支持 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）目标端 PolarDB 实例普通账号授权 表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 ...
现代IM系统中的消息系统—架构
接收方会主动的向服务端拉取所有未同步消息，但接收方何时来同步以及会在哪些端来同步消息对服务端来说是未知的，所以要求服务端必须保存所有需要同步到接收方的消息，这是消息同步库的主要作用。对于新的同步设备，会有消息漫游的需求，这...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
使用数据传输迁移数据
如果开启，请设置 RPS（反向增量同步阶段每秒最多可以同步至源端的数据行数的最大值限制）和 BPS（反向增量同步阶段每秒最多可以同步至源端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，反向增量同步实际可以...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
DM（达梦）数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
绑定钉钉-入方向
通过极其简便的配置可实现如下能力：分类 实现能力 账户 将钉钉通讯录全量同步到 IDaaS 监听钉钉通讯录事件，增量同步有变动的数据到 IDaaS 全量或增量同步数据到钉钉（请看 绑定钉钉-出方向）登录 钉钉扫码登录 IDaaS 或 IDaaS 中的应用 ...
配置匹配规则
本文为您介绍迁移/同步对象匹配规则的背景信息、使用限制、配置方式，以及场景示例和常见问题。背景信息 您在创建数据迁移或数据同步项目时，需要指定具体的迁移或同步的对象。数据传输提供指定对象、导入对象和匹配规则三种方式供您选择。...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
配置Kafka输入
实时同步Kafka输入节点不依赖Kafka服务端维护的群组信息管理位点，所以对配置参数中 group.id 的设置不会影响同步任务启动、重启、Failover等场景下的读取位点。输出字段 您可以自定义Kafka数据对外输出的字段名：单击 添加更多字段，输入 ...
修复同步作业预检查失败的问题
DTS在执行数据同步作业之前，会对源库和目标执行预检查，本文介绍各类检查项失败可能的原因及修复方法。预检查项目 失败可能的原因 修复方法 源库连接性检查 目标库连接性检查 数据库账号或密码不正确。获取到正确的密码，然后修改同步作业...
RDS 同步到云搜
支持功能 支持 RDS 数据表到 ZSearch 的实时数据同步 任务创建成功后支持修改同步对象 支持的 SQL 操作类型 RDS>云搜 实时同步支持以下 SQL 操作类型：Insert Delete Update 数据同步服务暂不支持 RDS 中表结构变更（DDL）到 云搜 的自动...
常见问题
待同步任务重启并将增量数据同步到目标库后，目标库数据将与源库一致。删除增量同步任务源库中的数据，目标库中已同步的数据是否会删除？若增量同步任务所需同步的DML操作没有勾选 delete，则目标库中数据不会被删除，否则目标库中已同步的...
快速入门
步骤一：开通DataHub服务 登录 DataHub服务控制台。...步骤六：查看同步任务 可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息，包含同步点位、同步状态以及重启和停止等操作，如下图所示：详情请参看 同步MaxCompute。
AIMaster：弹性自动容错引擎
配置容错消息通知 任务开启容错监控后，如果您希望容错发生时可以进行通知，比如任务发生了重启，那么您可以在 工作空间详情，选择 事件中心，点击 新建事件规则，事件类型选择 DLC任务>任务自动容错。具体操作，请参见 工作空间事件中心。...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
MySQL实例间的双向同步
若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见...
创建同步ElasticSearch
type id data ES5-router属性列为null，脏数据 ES6-router属性列为null，脏数据 ES7-router属性列为null，脏数据 查看同步任务 可以点击对应connector的详情⻚⾯查看同步任务的运⾏状态和点位等信息，包含同步点位、同步状态以及重启和停⽌...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
MaxCompute数据源
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载（同步数据通道SLA详情请参见 数据传输服务（上传）场景与工具），请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。一键实时同步至MaxCompute，按实例模式同步时...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至MaxCompute。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...
创建同步MaxCompute
查看同步任务 可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息，包含同步点位、同步状态以及重启和停止等操作，如下图所示：同步示例 1.USER_DEFINE同步模式 建立DataHub Topic 备注：topic schema中必须需要包含...
MySQL实例间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
AnalyticDB MySQL集群状态和DTS同步作业状态
本文汇总了 AnalyticDB MySQL版 集群的状态以及集群中关于DTS同步作业状态的详情供您参考。AnalyticDB MySQL集群状态 状态 说明 Preparing 准备中 Creating 创建中 Restoring 备份恢复中 Running 运行中 Deleting 删除中 ClassChanging 变...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步服务抓取数据并写入产品存储的时间与数据实际写入至源数据库的时间差。数据抓取延迟仅在增量同步阶段有数值。数据写入延迟 数据写入延迟是指同步到目标实例的最新数据在源数据库执行的时间...
2023-08-21版本
CDAS功能支持了在对新增表等变更操作后，可以以有状态的方式重启作业并继续执行，这避免了重启带来的状态丢失与额外作业的管理成本。新增OceanBase连接器，可以将OceanBase数据库作为结果表和维表使用。OceanBase是阿里巴巴和蚂蚁集团100%...
RDS MySQL与PolarDB MySQL版间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
RestartDeviceInstance-重启实例设备
调用RestartDeviceInstance重启实例设备或实例上的所有虚拟设备，同步返回是否重启成功。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下...
PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
配置监控报警
DTS为数据同步作业提供了监控报警功能，您可以通过控制台对重要的监控指标设置报警规则，让您第一时间了解同步作业的状态。前提条件 已完成数据同步作业的配置流程，详情请参见 配置数据同步作业。操作步骤 登录 数据传输控制台。在左侧...
JindoFS缓存模式
元数据同步策略分为两部分，包括元数据同步间隔策略和元数据load策略：元数据同步间隔策略：配置参数为 namespace.sync.interval，该参数默认值为-1，表示不会同步OSS上的元数据。当 namespace.sync.interval=0 时，表示每次操作都会同步...
导入与导出
任务处于增量同步阶段时，把这张表从同步对象中去掉，修改源表值为合法值，把表添加到同步对象中，然后重启同步任务。整库同步的增量同步阶段时，请联系阿里云技术支持打开非法值写入开关。开关打开后，所有非法值的写入会被转为null。DTS...
数据传输的审计事件
ModifySynchronizationObject 修改数据同步作业实例中的同步对象。PauseJobStep 暂停JobStep。Ping 探活。PreviewSql 预览并校验SQL。Release 实例等的释放操作。RemainRefund 来自费用中心中退订管理下的退订资源。RemoveTags 解绑标签。...
如何解决同步实例关于表的报错？
本文介绍如何使用修改同步对象功能，解决DTS同步实例运行过程中表报错的问题。前提条件 没有业务读取目标库的数据，或业务可以短时间不读取目标库的数据。源库和目标库处于正常运行的状态。除报错信息中的表以外，同步实例有其他待同步的...
PolarDB PostgreSQL版间的迁移
若DTS正向和反向同步任务均同步了某张表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以...
- 产品推荐
- 这些文档可能帮助您