实时数据同步
支持的同步链路 数据源端 数据目的端 支持的拓扑 备注 MySQL Zsearch（云搜）单向同步 已支持 OceanBase ODPS、DataHub 单向同步 已支持（仅专有云）ORACLE ODPS 单向同步 已支持（仅专有云）MySQL MySQL 单向同步 规划中 数据同步对象 ...
常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
数据同步链路规格说明
数据同步规格说明 数据同步根据同步链路的同步性能上限，定义了四种规格：micro、small、medium、large，当满足以下条件时，各个规格的同步性能上限才能达到下表中的性能上限。源实例的压力要大于等于各规格对应的性能上限。目标实例的写入...
应用场景
多源联合分析 该场景需要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，以及分库分表所带来的数据分析复杂性问题，让用户可以更专注于业务逻辑。该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB...
常见问题
数据同步问题 DTS支持哪些数据库实例的同步？DTS支持各种数据源之间的数据同步，如关系型数据库管理系统（RDBMS）、NoSQL数据库、联机分析处理（OLAP）数据库。支持同步的数据库实例，请参见 同步方案概览。数据迁移和数据同步的区别是什么...
同步时源库为PolarDB MySQL版的注意事项及限制
如果同步的源集群为 PolarDB MySQL版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认...
MySQL分库分表同步至Hologres（方案1.0）
注意事项 同步数据至Hologres时，目前仅支持将数据写入分区表子表，暂不支持写入数据至分区表父表。需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 ...
导入与导出
报错：‘id' is LONG type,Can't change column type to DECIMAL modify precision is not supported,col=id,type decimal,old=11,new=21 原因：详细信息请参见 DTS同步数据至AnalyticDB MySQL集群时，是否支持修改源表中的字段类型？...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
配置数据层
直接录入 同步链路 已录入的同步链路，通过已选中的数据源可直接匹配得到 redis-同步-正向 redis-同步-反向 创建同步链路成功后，您可以在 同步链路列表 页面查看到创建的同步链路。可选：您还可以在 同步链路列表 页面进行以下操作：查看...
使用数据传输同步数据
本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于...
数据集成侧同步任务配置
本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程...
一键实时同步至Kafka
当勾选 支持源表无主键同步 后，源表没有主键，也可以向下游同步，但是同步数据时kafka记录的key将使用空值，只有当写入的kafka topic是单分区，才能确保变更有序写入。发送心跳记录 定义是否发送报警信息至Kafka。勾选 发送心跳记录 后，...
PolarDB MySQL版同步至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版，扩展消息处理能力。...类别 参数 说明 信息配置 链路规格 DTS为您提供了不同性能的同步规格，同步链路规格的...
PolarDB-X 2.0同步至DataHub
前提条件 已开通 DataHub，并且已创建用作接收同步数据的Project。具体操作请参见 快速入门 和 Project操作。目标 阿里云流式数据服务DataHub 实例的存储空间须大于源 PolarDB-X 2.0 实例的存储空间。注意事项 说明 DTS不会将源数据库中的...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
本文以RDS MySQL数据源为例，介绍如何通过DTS将RDS MySQL数据...步骤三：查看同步数据 返回DTS控制台，在同步列表中的同步概况中查看同步延时和速度。进入 AnalyticDB MySQL版控制台，在 ads_DataBase 数据库中可以查看到同步过来的数据表。
安装Jaeger Agent
可观测链路 OpenTelemetry 版 支持使用OpenTelemetry、Jaeger、Zipkin和Skywalking客户端将应用链路数据上报至控制台。如果你需要通过Jaeger Agent上报数据请先安装Jaeger Agent。步骤一：获取接入点信息 登录 可观测链路 OpenTelemetry 版...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
同步 OceanBase 数据库的数据至 DataHub
如果由数据传输自动创建 Topic 和结构同步，数据传输会自动补充下述 Properties。重要 该部分内容仅适用于 Tuple 类型的 Topic。名称 类型 含义 oms_timestamp STRING 发生变更的时间。oms_table_name STRING 源端为表时，变更表名。oms_...
应用场景
数据通道：通过BDS构建云HBase与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入HBase，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，自动化扩容。...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
等待资源
产生原因 当前数据集成资源组上执行的任务超过了机器支持的并发上限，任务在等待数据集成执行资源。说明 如果资源使用率高但实际无任务执行或资源组上可执行任务数未达资源组上限但仍无法执行任务，您可以单击 申请链接 或扫描下方二维码...
申请跨境数据同步权限
例如，创建从中国内地到非中国内地地域的同步任务时，需要申请跨境同步的权限后才能传输数据。说明 若未开通跨境数据同步权限，您在 DTS购买页面 选择 源实例区域 后无法选择跨境的 目标实例区域。注意事项 跨境同步业务须遵守源实例区域和...
应用场景
数据通道：通过LTS（原BDS）构建Lindorm与异构计算系统的高效、易用的数据链路。快速导入：通过BulkLoad将海量数据快速导入Lindorm，效率比传统方式提升一个数量级。高并发：水平扩展至千万级QPS。弹性：存储计算分离架构，支持独立伸缩，...
如何解决增量迁移延迟或同步延迟
操作方式，请参见 DTS同步数据常见问题 和 修改同步对象。解法6：建议删除或禁用目标库的触发器（trigger）。以MySQL数据库为例，可以使用命令 DROP TRIGGER[IF EXISTS][数据库名]<触发器名>;删除触发器。说明 如源库存在触发器，您可参考 ...
数据同步方案概览
源为自建MySQL或RDS MySQL的同步方案 源为PolarDB MySQL版的同步方案 源为PolarDB PostgreSQL版（兼容Oracle）的同步方案 源为PolarDB PostgreSQL版的同步方案 源为PolarDB-X的同步方案 源为Oracle的同步方案 源为自建PostgreSQL或RDS ...
新功能发布记录
2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...
产品架构
数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
支持的数据库
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
MySQL实例间的双向同步
支持的冲突检测 为保障同步数据的一致性，您需要确保同一个主键、业务主键或唯一键的记录只在双向同步的一个节点进行更新。如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。DTS通过冲突检测和修复最大程度地维护双向...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
场景：配置增量数据离线同步任务
配置增量同步 数据集成离线同步任务中，可以使用调度参数来指定同步源表及目标表的数据路径以及数据范围，调度参数的配置方式与其他类型任务一致，没有特殊限制。在同步任务运行时，任务中配置的占位符参数都会被替换为调度参数表达式所...
通过一键建仓同步至数仓版
查看或变更同步任务 通过AnalyticDB MySQL控制台查看或变更同步任务 在 云原生数据仓库AnalyticDB MySQL控制台 的 同步概览 页面，可查看该集群下的同步任务详情。您也可以修改同步的数据源，暂停、启动、删除同步任务。通过DTS控制台查看...
切流演练
已在数据层配置了多活属性并同步了链路的数据，具体操作，请参见 配置数据层。创建切流演练任务 登录 AHAS控制台。在控制台左侧导航栏中单击 多活容灾。在左侧导航栏选择 基础配置>命名空间，并在顶部选择异地多活架构的命名空间。在左侧...
数据源概述
说明 数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。数据源...
- 产品推荐
- 这些文档可能帮助您