使用DataWorks同步iGraph数据
通常的同步方案是先做一次全量一次性同步，将已有的数据同步至iGraph。之后选择一个固定的时间间隔，周期将新增的数据同步至iGraph中，确保数据最终一致。2.创建数据离线同步节点 登录 DataWorks控制台，在左侧导航栏，单击 工作空间列表。...
同步异常说明
若主DNS中资源记录超过1万，则本次辅助DNS的同步操作作废失效。若您的设置中有不符合RFC规范之处，在辅助DNS同步主DNS资源记录时，会摒弃这些不符合规范的设置参数。为确保主辅DNS之间连接通畅，请开放TCP 53端口。主DNS的限制与影响说明 ...
迁移工具
DataWorks/DataX将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件。更多信息，请分别参见 DataWorks数据集成 或者 DataX。将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将...
通过脚本模式配置离线同步任务
分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。null：不开启分布式处理能力。配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。重要 如果独...
DTS任务中配置ETL典型应用
典型应用一：非法值处理 DTS支持异构类型的数据库之间的同步和迁移，同步或迁移时会自动进行类型映射。但是仍然会出现不可避免的数据不兼容，比如MySQL同步到Oracle，源实例 varchar(10)NOT NULL 列的空字符串无法写入目标实例的非空列，...
RDS MySQL数据库触发器
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
离线同步数据质量排查
同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，为了最大化提高数据同步的效率，任务在执行时会将split切分成多个子作业，每个子作业称之为一个Task。这些Task以单机或者多机的方式并发执行，每个Task读取一个数据区间内的...
云数据库MongoDB版（副本集架构）
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明 如为增量同步任务，DTS要求源数据库的Oplog日志保存24小时以上，如为全量同步和增量同步任务，...
云数据库MongoDB版（分片集群架构）
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的集合，分批配置多个任务，或者配置整库的同步任务。需开启Oplog日志。说明 DTS要求源数据库的Oplog日志至少保留7天以上，否则DTS可能因无法获取Oplog日志而导致任务失败...
创建同步任务
开启：分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。未开启：配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。如果您对于同步性能有比较...
Db2 for LUW同步至AnalyticDB MySQL版 3.0
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 准备工作 创建账号并授予...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 数据库账号的权限要求 ...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单...
RDS MySQL同步至AnalyticDB MySQL 3.0
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
通过MySQL分析实例同步至数仓版
您可以登录 AnalyticDB MySQL版 控制台，查看实例的运行状态以及RDS MySQL数据的同步状态。登录 云原生数据仓库AnalyticDB MySQL控制台。在页面左上角，选择集群所在地域。在左侧导航栏，单击 集群列表。在 数仓版（3.0）中，单击 集群类型...
文件网关反向同步的使用场景及配置
文件网关支持反向同步功能，将OSS上的元数据同步回本地，您可以在云存储网关侧观察OSS上数据的变化。使用场景 当多台云存储网关实例共同访问一个OSS Bucket时，可以实现多实例数据共享。当您需要从OSS恢复数据到云存储网关时，反向同步功能...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
离线同步提速或限速
下文为您介绍典型数据源在独享资源组中，单并发的同步速度：不同数据源的Writer插件对应的单并发平均速度 Writer 单并发平均速度（KB/s）AnalyticDB for PostgreSQL 147.8 AnalyticDB for MySQL 181.3 ClickHouse 5259.3 DataHub 45.8 DRDS...
PolarDB PostgreSQL版（兼容Oracle）集群同步至...
如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务待同步的表数量超过1000时，建议您拆分待同步的表，分批配置为多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。需开启WAL日志。如为增量同步任务...
报错：DTS-30019:Can not find column
方法二：重要 双向同步任务、目标表有除DTS以外的数据写入、目标端的表为多对一单向同步架构的目标表（包括一个任务的多张表映射到同一张表和多个任务的表映射到同一张表的场景）时不能使用此方法。将报错的表从同步对象移除，然后启动任务...
全球数据库常见问题
跨地域写数据会受一定的网络延迟影响，GDN网络做了特殊优化，通过多通道物理复制，高压力下全球同步延迟小于2秒。如何清理GDN主从空间以及表空间碎片?清理GDN主从空间以及表空间碎片的具体操作请参见 回收表碎片空间。说明 执行 optimize ...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 在数据写入到 云原生...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
开启数据库级别的 PK 和 UK 补偿日志，当无需同步的表产生较多不必要的日志时，会增加 LogMiner Reader 拉取日志的压力和 Oracle 自身的压力。所以，数据传输支持 Oracle 数据库仅开启表级别的 PK 和 UK 补偿日志。但是，如果在创建迁移...
自建Oracle同步至云原生数据仓库AnalyticDB ...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如果源库通过专线的方式接入，那么需要将其中任意1个VIP配置到连接信息中，实现Oracle RAC通过专线接入同步任务。如自建...
从ECS上的自建SQL Server同步至云原生数据仓库...
您需要在云原生数据仓库AnalyticDB PostgreSQL的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源Schema名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata....
从ECS上的自建SQL Server同步至云原生数据仓库...
您需要在云原生数据仓库AnalyticDB PostgreSQL的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源Schema名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata....
使用DTS同步
说明 DTS会在Tablestore实例的同步目标表中增加_dts_data_source 列（类型为varchar）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata.customer1。多表归并功能基于...
数据同步拓扑介绍
数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。本文介绍DTS支持的同步拓扑类型和使用说明。单向同步 在单向同步的拓扑中，为保障同步数据的一致性，对目标实例中的同步对象应只进行读操作，请勿进行写操作。拓扑类型...
一键建仓
数据管理DMS一键建仓功能可以实现一键创建实时同步的数据仓库，数据可在秒级的延迟下，同步至AnalyticDB MySQL版数据库中，帮助您更实时、准确地掌握业务情况，以便更好地进行业务分析和决策，提升业务效果。本文介绍如何在数据管理DMS中...
从RDS MySQL同步至Tablestore
说明 DTS会在Tablestore实例的同步目标表中增加_dts_data_source 列（类型为varchar）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata.customer1。多表归并功能基于...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
您需要在云原生数据仓库AnalyticDB PostgreSQL的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源Schema名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata....
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
您需要在云原生数据仓库AnalyticDB PostgreSQL的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源。DTS将以数据同步实例ID>:<源数据库名>.<源Schema名>.<源表名>的格式写入列值用于区分表的来源，例如 dts*:dtstestdata....
自建Oracle同步至云原生数据仓库AnalyticDB ...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如果源库通过专线的方式接入，那么需要将其中任意1个VIP配置到连接信息中，实现Oracle RAC通过专线接入同步任务。如自建...
整库离线同步至Elasticsearch
选择同步方案后，不同同步方案需配置不同的同步参数，包括 全量同步 参数、增量同步 参数及 周期设置 参数。具体如下：全量同步 仅当 方案选择 配置为 只全量一次性同步、周期性全量同步 或 全量一次性同步后周期增量 时，需要配置该参数。...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
管理数据同步任务和存储表
本文介绍如何查看云产品数据源的同步任务和数据同步存储表。查看同步任务详情 在 物联网平台控制台 的 实例概览 页面，单击目标企业版实例 ID 或备注名称。在左侧导航栏，选择 数据服务>数据接入，单击 云产品 页签。找到目标云产品数据源...
执行同步任务
本文为您介绍如何执行调度类型为手动任务的同步任务。前提条件 完成同步任务（调度类型为 手动任务）的创建，详情请参见 新建同步任务，完成同步任务（调度类型为 手动任务）的配置，详情请参见 配置同步任务。背景信息 执行同步任务的说明...
使用创建反向任务功能
权限要求，请参见 RDS MySQL实例间的同步 或 RDS SQL Server间的同步。重要 灾备数据库的账号需要具备额外的权限：SQL Server间的同步实例：目标库账号需具备sysadmin权限，您可以使用超级权限账号通过 EXEC sp_addsrvrolemember@loginame=...
新增脚本同步任务
修改同步任务 在任务列表中，对于未运行的同步任务，单击 操作 列的 更多，选择 修改，可对同步任务进行修改。删除同步任务 对于未上线的同步任务，在目标同步任务的 操作 列的 更多，选择 删除，对同步任务进行删除。查看依赖节点 在目标...
- 产品推荐
- 这些文档可能帮助您