架构
不过，初始的表同步是以类似一个 COPY 命令的方式实现的，因此会引发 INSERT 的行触发器和语句触发器。初始快照 已有的被订阅表中的初始数据会被快照并且以一种特殊类型的应用进程的并行实例进行拷贝。这种进程将创建自己的临时复制槽并且...
通过向导模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
创建主备双活实例
云数据库HBase主备节点分别部署在同一地域下两个不同的可用区，当任一可用区因电力、网络等不可抗因素失去通信时，高可用HA系统会执行故障切换，确保整个节点的持续可用。您可以使用LTS数据通道服务完成主备节点之间实时增量数据双向同步，...
通过Kafka导入数据
database.server.name=test123#需要同步的数据库和表，默认是同步所有数据库和表 database.include.list=test table.include.list=test.test_table database.history.kafka.bootstrap.servers=localhost:9092#用于存储数据库表结构变化的 ...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
全增量同步任务运维
详情请参见：增加或删除已运行任务的同步表。如果同步方案类型为一键实时同步，将先对新增表进行全量初始化，执行完成后会将新增表加入实时同步任务并启动实时同步。说明 重置实时同步任务位点并启动运行时，会存在一个新增表追加变更数据...
通过跨库Spark SQL任务将数据同步到OSS
电商管理者希望能够按商品类别统计并查看前一天的订单数量和金额，本文通过在任务编排中创建跨库Spark任务，实现定期将在线库中的订单表和商品表同步到OSS中进行数据分析，管理者可以在OSS中查看分析结果。前提条件 准备一个MySQL数据库...
GenerateDISyncTaskConfigForUpdating
同步任务中的SelectedTables用于多库模式选择同步表，Tables用于单库模式选择同步表。当脚本中包含SelectedTables语句时，系统会使用SelectedTables语句中的表信息进行同步。当脚本中包含Tables语句时，系统会使用Tables的字段信息进行同步...
连续查询
在数据库db_sensor_month中创建表sensor。USE db_sensor_month；CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,temperature DOUBLE,humidity BIGINT);创建另一个数据库db_sensor_year，存储降精度后的数据...
一键建仓
数据库名称：待同步的源表所在的数据库的名称。账号和密码：拥有以上数据库读写权限的账号和密码。示例如下：host=pgm-bp*.pg.rds.aliyuncs.com port=5432 dbname=*user=*password=*publication_name RDS PostgreSQL实例上发布的名称。...
配置数据校验
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
MySQL数据源
您可以在MySQL数据库通过如下语句查看当前MySQL数据库版本。SELECT version();准备工作2：配置账号权限 建议您提前规划并创建一个专用于DataWorks访问数据源的MySQL账号，操作如下。可选：创建账号。操作详情请参见 创建MySQL账号。配置...
新增离线数据同步任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
DRDS（PolarDB-X）数据源
where 条件不配置或者为空时，视作全表同步数据。例如，在测试时使用where条件指定实际业务场景。通常会选择当天的数据进行同步，您可以指定 where 条件为 STRTODATE('${bdp.system.bizdate}','%Y%m%d')(STRTODATE('${bdp.system.bizdate}'...
新增离线数据同步任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
MySQL整库周期性增全量同步至MaxCompute
本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以...
RDS全量同步和增量同步
RDS多表同步。使用限制 RDS全量同步支持数据源MySQL。RDS增量同步支持数据源DTS。支持目标数据源包括云数据库HBase增强版和标准版。任务创建 在LTS操作页面中，单击 导入Lindorm/HBase>RDS全增量同步。单击 创建任务。选择RDS数据源、DTS...
数据同步拓扑介绍
Tair/Redis Tair/Redis MongoDB MongoDB 目前DTS仅支持两个数据库之间的双向同步，暂不支持多个数据库之间的双向同步。说明 关于双向同步的配置案例请参见 MySQL实例间的双向同步。您可以将现有的单向同步升级为双向同步，详情请参见 单向...
从ECS上的自建MySQL同步至RDS
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。准备工作 在正式配置数据同步作业之前，您需要 为自建MySQL创建账号并设置binlog。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
RDS MySQL实例间的单向同步
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。操作步骤 购买数据同步实例，详情请参见 购买数据同步任务。说明 购买时，选择源实例和目标实例均选择为 MySQL，并选择同步拓扑为 单向同步。登录 ...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
从RDS同步至通过专线、VPN网关或智能接入网关接入的自...
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例和目标实例均为 MySQL，并选择同步拓扑为 单向同步。登录 数据传输控制...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。准备工作 在正式配置数据同步作业之前，您需要 为自建MySQL创建账号并设置binlog。操作步骤 购买数据同步作业，详情请参见 购买流程。说明 购买时，...
从ECS上的自建SQL Server同步至云原生数据仓库...
为保证数据同步延迟显示的准确性，DTS会在自建SQL Server数据库中新增一张心跳表，表名格式为 待同步表名_dts_mysql_heartbeat。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费...
导入与导出
DTS同步数据至AnalyticDB MySQL集群时，如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？DTS同步数据至AnalyticDB MySQL集群时，如何排查AnalyticDB MySQL集群中的数据延迟问题？DataWorks导入数据至AnalyticDB MySQL集群时...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
批量新增离线数据同步任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，...
不同阿里云账号下RDS实例间的数据同步
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。准备工作 将目标RDS实例所属的云账号设置为授信云账号，允许通过数据传输服务访问源RDS实例所属云账号的相关云资源。详情请参见 跨阿里云账号数据...
从ECS上的自建MySQL同步至PolarDB MySQL版（金融云）
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
批量新增离线数据同步任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加离线数据同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
术语/概念对应关系 PolarDB MySQL版 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库...
PolarDB MySQL版间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
RDS PostgreSQL同步至AnalyticDB for PostgreSQL
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
术语/概念对应关系 MySQL 云原生数据仓库AnalyticDB MySQL 数据库 云原生数据仓库AnalyticDB MySQL（2.0）：表组 云原生数据仓库AnalyticDB MySQL（3.0）：数据库 表 云原生数据仓库AnalyticDB MySQL（2.0）：表 云原生数据仓库AnalyticDB ...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
- 产品推荐
- 这些文档可能帮助您