MaxCompute数据源
该场景下，您需先购买云企业网，连通DataWorks服务与MaxCompute项目的网络，网络连通后才可跨地域执行数据同步操作。云企业网的介绍及相关操作，请参见 云企业网。离线读 MaxCompute Reader支持读取分区表、非分区表，不支持读取虚拟视图、...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
OceanBase 数据库之间的数据迁移
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果开启，请设置 RPS（增量同步阶段每秒最多可以同步至目标端的数据行数的最大值限制）和 BPS（增量同步阶段每秒最多可以同步至目标端的数据量的最大值限制）。说明 此处设置的 RPS 和 BPS 仅作为限速限流能力，增量同步实际可以达到的...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。请确认数据传输对 DECIMAL、FLOAT 或 DOUBLE 等列类型的迁移精度是否符合预期。如果目标端字段类型的精度小于源端字段类型...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。请确认数据传输对 DECIMAL、FLOAT 或 DOUBLE 等列类型的迁移精度是否符合预期。如果目标端字段类型的精度小于源端字段类型...
API概览
CheckModifyConfigNeedRestart 查询配置参数是否需要重启 调用CheckModifyConfigNeedRestart接口查询云数据库ClickHouse社区兼容版集群在XML模式下配置参数的变更是否需要重启。DescribeConfigHistory 查看配置参数的变更记录 调用...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
2019年
此功能已下线 升级全量数据迁移功能，优化任务断点重启逻辑，实现接近无损的断点重启。无 2019年5月 支持新版数据订阅功能。数据订阅（新版）支持迁移/同步/订阅MySQL 8.0版本的数据库。支持的数据库 支持从MySQL同步至AnalyticDB for ...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
数据传输服务DTS（Data Transmission Service）支持将RDS MySQL数据同步至 AnalyticDB PostgreSQL版Serverless模式。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 已创建源 RDS MySQL 实例，创建方式...
自建Dubbo Nacos注册中心迁移到MSE Nacos
同步方式：选择 双向同步，即同步的服务在任何一侧做出变更，都会同步到另一侧。同步类型：选择 服务信息，MSE Sync会自动列出源集群的所有服务，按需选择即可。单击 确定。在迁移工具的 同步服务 页面，查看已经同步的服务名。步骤二：...
使用MongoShake实现MongoDB实例间的单向同步
通过阿里云自研的MongoShake开源工具，您可以实现MongoDB数据库间的数据同步，该功能可用于数据分析、灾备和多活等业务场景。本文以云数据库MongoDB实例间的数据实时同步为例介绍配置流程。MongoShake介绍 MongoShake是阿里云以Golang语言...
PolarDB MySQL版同步至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版，扩展消息处理能力。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 购买包年包月集群。...
云存储网关的审计事件
RestartFileShares 重启云存储网关上的文件共享。SetElasticGatewayDataPolicy 对弹性网关进行数据加载策略的设置。SetGatewayADInfo 给云存储网关添加或清除AD服务器信息。SetGatewayDNS 给云存储网关添加NDS服务器信息。...
E-MapReduce数据迁移方案
全量数据同步 hadoop distcp-pbugpcax-m 1000-bandwidth 30 hdfs:/oldclusterip:8020/user/hive/warehouse/user/hive/warehouse 增量数据同步 hadoop distcp-pbugpcax-m 1000-bandwidth 30-update-delete hdfs:/oldclusterip:8020/user/...
版本发布记录
数据备份 2023年03月 功能名称 描述 相关文档 预约重启集群 新特性 云数据库ClickHouse 社区兼容版 集群支持预约重启集群。社区兼容版重启实例 标签管理 新特性 云数据库ClickHouse 社区兼容版 集群支持标签管理。标签管理 ZooKeeper配置 ...
一键克隆RDS MySQL至PolarDB MySQL版
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management Service）来执行在线DDL变更，...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您需要进行增量同步，请完成以下前置操作：增量同步时，数据传输不支持 DDL 的自动同步。如果待迁移的表需要进行 DDL，请先手动在目标端执行该 DDL 语句，再在源端 RDS PostgreSQL 实例中执行。为确保执行 DDL 语句后的增量 DML 能够...
一键升级RDS MySQL X-Engine至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
MongoDB 4.2
重启实例 重启实例会对实例的节点执行轮转重启，每个节点会有30秒左右的闪断，如果集合的数量较多（超过1万），闪断时间也会随着变长，重启前请做好业务安排并确保应用有重连机制。重启副本集实例可能导致主备切换，连接节点的角色发生变化...
升级步骤
查看数据同步任务详情（可选）在使用逻辑迁移（DTS数据同步）方式进行一键升级的过程中，若遇到迁移报错（如预检查失败）或者其他异常状态（如复制延迟异常高）时，您可以前往对应的DTS数据同步任务的详情页，查看数据同步任务的具体信息。...
通过配置文件管理管道
通过Logstash同步MySQL数据的最佳实践文档：通过Logstash将RDS MySQL数据同步至Elasticsearch 通过Logstash同步日志数据的文档：logstash-input-sls插件使用说明 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 常见问题 管道...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
如果同步的目标为 云原生数据仓库AnalyticDB MySQL（2.0），那么源 PolarDB-X 中待同步的库或列的名称不能包含 云原生数据仓库AnalyticDB MySQL（2.0）的保留字，否则将造成数据同步失败，详情请参见 保留字。注意事项 DTS在执行全量数据...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
DM（达梦）数据源
单表离线同步任务配置指导 操作流程请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。脚本模式配置的全量参数和脚本Demo请参见下文的 附录：脚本Demo与参数说明。整库离线读同步配置指导 操作流程请参见 数据集成侧...
路由同步
您可以通过路由同步功能控制企业版转发路由器向网络实例传播网络实例连接关联的企业版转发路由器路由表中的路由。本文为您介绍路由同步的使用限制、路由同步机制以及如何开启和关闭路由同步功能。使用限制 仅企业版转发路由器支持路由同步...
从RDS同步至MaxCompute
DTS将源库中待同步表的存量数据，全部同步至MaxCompute中的目标表名_base表中（例如从源库的customer表同步至MaxCompute的customer_base表），作为后续增量同步数据的基线数据。说明 该表也被称为全量基线表。增量数据同步。DTS在...
从RDS同步至MaxCompute
DTS将源库中待同步表的存量数据，全部同步至MaxCompute中的目标表名_base表中（例如从源库的customer表同步至MaxCompute的customer_base表），作为后续增量同步数据的基线数据。说明 该表也被称为全量基线表。增量数据同步。DTS在...
配置同步任务（新控制台）
数据传输服务DTS（Data Transmission Service）提供的数据同步功能简单易用，您只需在新版控制台上进行简单操作，即可完成整个数据同步作业的配置。注意事项 本文仅简单介绍数据同步任务的通用配置流程，不同的同步链路在配置数据同步任务...
云数据库MongoDB版（副本集架构）
您可以在数据传输服务DTS（Data Transmission Service）控制台创建数据同步任务，实时或定时将 云数据库 MongoDB 版 的副本集架构实例的增量数据同步至 函数计算 的指定函数。然后结合同步至函数中的数据，在 函数计算 编写相应的代码，对...
云数据库MongoDB版（分片集群架构）
您可以在数据传输服务DTS（Data Transmission Service）控制台创建数据同步任务，实时或定时将 云数据库 MongoDB 版 的分片集群架构实例的增量数据同步至 函数计算 的指定函数。然后结合同步至函数中的数据，在 函数计算 编写相应的代码，...
云数据库MongoDB版（副本集架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（副本集架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库MongoDB...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（分片集群架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库...
设置增量同步位点
使用限制 您在创建数据迁移或数据同步项目时，迁移/同步类型选择了 增量同步，并且未选择 全量迁移/全量同步，才会支持设置增量同步位点。设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。使用限制 ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务...
- 产品推荐
- 这些文档可能帮助您