Redis实例间的单向数据同步
支持的同步命令 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT GEOADD、GETSET HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX INCR、INCRBY、INCRBYFLOAT LINSERT、LPOP、LPUSH、...
Redis实例间的单向数据同步
支持的同步命令 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT GEOADD、GETSET HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX INCR、INCRBY、INCRBYFLOAT LINSERT、LPOP、LPUSH、...
配置同步任务
Dataphin支持的同步来源数据源类型包括MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL、MongoDB、Microsoft SQL Server。模式 当数据源类型为MySQL、Oracle、PostgreSQL、AnalyticDB for PostgreSQL时，支持设置。支持选择同步数据...
MySQL实例间的双向同步
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
MySQL实例间的双向同步
数据传输服务DTS（Data Transmission Service）支持MySQL实例间的双向同步。支持的源和目标数据库 MySQL间同步...已选择对象 如需更改单个同步对象在目标实例中的名称，请右击 已选择对象 中的同步对象，设置方式，请参见 库表列名单个映射 ...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
RDS MySQL与PolarDB MySQL版间的双向同步
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
StarRocks数据源
StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...
商品管理
其他门店同步改价 当前大多门店是千店一面的模式，所有商品都是集团统一管理，价格、详情在每个门店的信息都是相同的，当一个商品价格发生变动，需要去后台进行改价操作 改价弹窗增加同步选项，勾选后门店同步改价 修改前:8、修改：勾选...
配置数据同步任务
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
RDS MySQL同步至PolarDB MySQL版
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
RDS MySQL实例间的同步
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 级联双向同步 多对一单向同步 一对一双向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE ...
RDS MySQL同步至PolarDB MySQL版
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
SelectDB数据源
DATETIMEV2 支持 ARRAY 支持 JSONB 支持 BITMATP 不支持 HLL（HyperLogLog）不支持 QUANTILE_STATE 不支持 数据同步前准备：SelectDB环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在SelectDB侧进行数据同步环境准备，以便在...
RDS MySQL同步至AnalyticDB MySQL 3.0
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
自建MySQL同步至RDS MySQL
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 级联单向同步 支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ALTER TABLE、ALTER VIEW CREATE FUNCTION、CREATE INDEX、CREATE PROCEDURE、CREATE...
一键MaxCompute任务出错恢复
常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景及全增量同步任务 Merge任务的报错失败 Binlog无丢失 出现不支持的...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
Amazon Redshift数据源
Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...
MariaDB数据源
MariaDB数据源为您提供读取和写入MariaDB的双向通道，本文为您介绍DataWorks的MariaDB数据同步能力支持情况。支持的MariaDB版本 离线读写 支持MariaDB 5.5.x、MariaDB 10.0.x、MariaDB 10.1.x、MariaDB 10.2.x、MariaDB 10.3.x版本，且离线...
RDS MySQL同步至Tair/Redis
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
云数据库MongoDB版（副本集架构）同步至云数据库...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明 DTS要求源数据库的Oplog日志至少保留7天以上，否则DTS可能因无法获取Oplog日志而导致任务失败...
云数据库MongoDB版（副本集架构）同步至云数据库...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明 DTS要求源数据库的Oplog日志至少保留7天以上，否则DTS可能因无法获取Oplog日志而导致任务失败...
自建Oracle同步至云原生数据仓库AnalyticDB ...
DTS会在目标库的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源，并且将以 DTS实例ID:数据库名称:schema名称:表名 的格式写入列值用于区分表的来源，例如 dts*:dtstestdata:testschema:customer1。多表归并功能基于任务...
SAP HANA数据源
SAP HANA数据源为您提供读取和写入SAP HANA双向通道的功能，本文为您介绍DataWorks的SAP HANA数据同步的能力支持情况。使用限制 离线同步支持读取视图表。目前该数据源仅支持 独享数据集成资源组。支持的字段类型 SAP HANA Reader针对SAP ...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
本文介绍如何配置RDS MySQL到阿里云Elasticsearch的实时同步作业，并验证全量和增量数据的同步结果。背景信息 数据传输服务DTS是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务，详细信息请参见 数据传输服务DTS。DTS支持...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。若源MongoDB为分片集群实例，则源Mongos节点的数量不能超过10个。需开启Oplog日志，否则预检查阶段提示报错，且无法...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。若源MongoDB为分片集群实例，则源Mongos节点的数量不能超过10个。需开启Oplog日志，否则预检查阶段提示报错，且无法...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
通过DTS导入数据
在数据同步时，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步期间，若有除DTS外的数据写入目标库，则可能会导致源库与目标库的数据不一致。特殊情况 当源库为自建MySQL时：在...
自建Oracle同步至阿里云消息队列Kafka版
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如果源库通过专线的方式接入，那么需要将其中任意1个VIP配置到连接信息中，实现Oracle RAC通过专线接入同步任务。如自建...
同步时源库为MySQL的注意事项及限制
如果同步的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 ...
日志同步报警
jdbc连接失败 创建同步外表失败 创建同步目标表失败 执行同步数据SQL失败 处理报警：多数情况下，同步失败是因为数据源的剩余存储空间不足，建议先确保数据源有足够的存储空间，然后单击上图中的 重试，再次触发数据的同步。如果依然同步...
RDS MySQL同步至云原生数据仓库 AnalyticDB ...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
RDS MySQL同步至阿里云消息队列Kafka版
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
RDS MySQL同步至阿里云消息队列Kafka版
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
同步时源库为Oracle的注意事项及限制
如果同步的源数据库类型为自建Oracle，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Oracle的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 在库表结构同步过程中...
自建Oracle同步至DataHub
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如果源库通过专线的方式接入，那么需要将其中任意1个VIP配置到连接信息中，实现Oracle RAC通过专线接入同步任务。如自建...
- 产品推荐
- 这些文档可能帮助您