创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
跨账号同步实例
公有云Region不支持同步至非公有云Region（金融云、政务云等）。背景信息 跨账号同步实例支持阿里云账号和阿里云账号之间、RAM用户和RAM用户之间、阿里云账号和RAM用户之间的实例同步。跨账号自动同步实例 通过配置同步规则，在源实例上传...
概述
用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取数据的读取点位（非同步点位），该SubscriptionId请用户不要操作。目前只有DataHub topic的Owner/Creator账号才具备创建connector（数据同步）的...
实时同步能力说明
复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源...
离线同步能力说明
功能概述 离线同步支持的能力如下图所示：功能 描述 异构数据源间的数据同步 数据集成目前支持40+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
数据集成侧同步任务能力说明
功能概述 全增量同步任务支持的能力如下图所示：功能 描述 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的全增量同步任务来实现数据源与...
HybridDB for MySQL数据源
如果您指定其他非支持类型，忽略splitPk功能，使用单通道进行同步。如果 splitPk 不填写，包括不提供splitPk或者splitPk值为空，数据同步视作使用单通道同步该表数据。否 无 where 筛选条件，在实际业务场景中，往往会选择当天的数据进行...
镜像同步加速
说明 如果您是将国外地域的镜像同步到国外地域，您需要在 云企业网（预付费）页面设置 商品类型 为 非跨境，然后设置云企业网实例、区域 等参数。在 确认订单 页面选中 我已阅读并同意《阿里云产品及服务协议》，单击 去支付，完成支付即可...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库的数据至 Kafka
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 Kafka。背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
常见问题
通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 说明 数据同步基于内网传输，可以保证更低的网络延时。功能特性差异 支持库表列三级对象名映射。支持过滤待迁移的数据。支持选择迁移的...
从RDS原生实时同步
考虑到数据的绝对精确，目前仅支持主键表的同步，不支持非主键表的同步。一个RDS实例推荐只创建一个同步通道，同步过程需要使具有SELECT权限的RDS实例用户。实例必须是高性能计算规格实例，并且实例状态为运行中。源RDS实例已经创建了只读...
注册中心同步集群
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 步骤二：配置注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体...
MaxCompute数据源
该场景下，您需先购买云企业网，连通DataWorks服务与MaxCompute项目的网络，网络连通后才可跨地域执行数据同步操作。云企业网的介绍及相关操作，请参见 云企业网。离线读 MaxCompute Reader支持读取分区表、非分区表，不支持读取虚拟视图、...
DRDS（PolarDB-X）数据源
支持的版本 实时读取 支持DRDS（PolarDB-X 1.0）和PolarDB-X 2.0的非只读实例。创建DRDS（PolarDB-X）实例的操作可参见 创建PolarDB-X 1.0实例 或 创建PolarDB-X 2.0实例。使用限制 离线读写 目前DRDS（PolarDB-X）的插件仅适配MySQL引擎的...
云数据库MongoDB版（副本集架构）
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
云数据库MongoDB版（副本集架构）同步至函数计算FC
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
PolarDB PostgreSQL版同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能...
PolarDB PostgreSQL版同步至云原生数据仓库AnalyticDB...
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 账号创建及授权方法 PolarDB PostgreSQL版 待同步对象的读写权限 说明 若需要同步DDL，则需为高权限账号。创建数据库账号 ...
PolarDB PostgreSQL版间的同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能...
Dataphin同步任务速度低
问题描述 Dataphin同步任务出现速度低，或者速度为0。解决方案 1.从网络层面判断，来源数据库、去向数据库是否都是一套专线VPC网络。2.region判断，数据库、dataphin是否部署都是在一起，如果有跨国，并且非VPC专网，速度确实可能会慢。3....
RDS PostgreSQL间的单向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 登录 新版DTS同步任务的列表页面。说明 您也可以登录 DMS数据管理服务。在顶部菜单栏中，选择 集成与开发（DTS），在左侧导航栏选择 数据传输（DTS）>数据同步...
RDS PostgreSQL同步至PolarDB PostgreSQL版
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
PolarDB PostgreSQL版间的迁移
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。配置步骤 登录 新版DTS同步任务的列表页面。在页面左上角，选择同步实例所属地域。单击 创建任务，配置源库及目标库信息。说明 数据库类型都选择 PolarDB for ...
RDS PostgreSQL间的双向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。操作步骤 购买双向数据同步实例，请参见 购买...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
EMR Hive数据整库离线同步至MaxCompute
本文以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在...
自建PostgreSQL同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS ...
自建PostgreSQL同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS ...
自建PostgreSQL同步至PolarDB PostgreSQL版（兼容...
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 账号创建及授权方式 自建PostgreSQL superuser权限。CREATE USER 和 用户权限管理。PolarDB PostgreSQL版（兼容Oracle）具备 ...
通过脚本模式配置离线同步任务
如果您指定其他非支持类型，将会忽略splitPk功能，使用单通道进行同步。如果不填写splitPk，包括不提供splitPk或者splitPk值为空，数据同步视作使用单通道同步该表数据。并非所有插件均支持指定切分键配置任务切分逻辑，以上仅为示例，请以...
通过向导模式配置离线同步任务
如果您指定其他非支持类型，忽略splitPk功能，使用单通道进行同步。如果不填写splitPk，包括不提供splitPk或者splitPk值为空，数据同步视作使用单通道同步该表数据。并非所有插件均支持指定切分键配置任务切分逻辑，以上仅为示例，请以具体...
离线同步写入MongoDB数据
DataWorks的数据集成为您提供MongoDB Writer插件，可从其他数据源中读取数据，并将数据同步至MongoDB。本文以一个具体的示例，为您演示如何通过数据集成将MaxCompute的数据离线同步至MongoDB。前提条件 本实践进行操作时，需满足以下条件。...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
一键实时同步至AnalyticDB for MySQL 3.0
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。选择表建立方式 您可以在 表建立...
一键实时同步至DataHub
功能 描述 为非主键表选择主键 若您在上一步骤中未勾选 支持源表无主键同步，但源端部分无主键表需要同步，您可以单击 同步主键 列的 按钮，为无主键表设置 自选主键。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic建立...
- 产品推荐
- 这些文档可能帮助您