应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
数据迁移和同步方案概览
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 使用限制 单节点实例不支持增量数据迁移与同步。数据迁移方案 您可以通过以下方式迁移MongoDB数据库的数据。重要 单节点...
从ECS上的自建MySQL同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
Db2 for LUW同步至PolarDB-X 2.0
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库同步至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 同步方案概览。说明 PolarDB分布式版 需兼容...
一键创建OSS数据仓库
本文介绍如何通过向导将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中，即创建OSS数据仓库（创建Schema）。操作步骤 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏单击 ...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
什么是数据库网关
数据库网关DG（Database Gateway）是一种支持私网数据库远程访问的数据库连接服务。通过数据库网关，您可以安全且低成本地将第三方云或本地的数据库接入至阿里云。同时，数据库网关可以与其他阿里云产品（例如数据传输服务DTS，数据库备份...
API概览
DescribeSynDbTables 查看同步数据库与表 查看同步数据库与表。DeleteSyndb 删除同步任务 删除同步db。DescribeTransferHistory 查看迁移记录 查看迁移记录。TransferVersion 迁移版本 迁移版本。CreateServiceLinkedRole 创建服务关联角色...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
从PolarDB MySQL版同步到Kafka
数据库账号 填入 PolarDB MySQL版 集群的数据库账号，需要具备待同步数据库的读权限。数据库密码 填入该数据库账号的密码。目标实例信息 实例类型 根据Kafka集群的部署位置选择，本文以 ECS上的自建数据库 为例介绍配置流程。说明 当选择为...
从RDS同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据库同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。已创建 RDS MySQL实例 或 Serverless...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
从PolarDB MySQL版同步到Kafka
数据库账号 填入 PolarDB MySQL版 集群的数据库账号，需要具备待同步数据库的读权限。数据库密码 填入该数据库账号的密码。目标实例信息 实例类型 根据Kafka集群的部署位置选择，本文以 ECS上的自建数据库 为例介绍配置流程。说明 当选择为...
自建MySQL同步至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地或ECS的MySQL数据库同步至 RDS MySQL 实例。DTS默认仅实时同步增量数据，您也可以选择同时进行库表结构同步和全量同步，平滑地完成自建MySQL...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
数据传输服务DTS（Data Transmission Service）支持将使用专线、VPN网关或智能网关接入的自建MySQL数据库同步至 RDS MySQL 实例。前提条件 已将自建MySQL数据库接入到阿里云。更多信息，请参见 本地IDC接入至阿里云。说明 支持的版本，请...
RDS MySQL同步至ClickHouse集群
待同步数据库、表和列的名称符合云数据库ClickHouse的命名规范，相关规范请参见 对象命名规范限制。在库表结构同步阶段，DTS会在目标表中添加字段_sign 和_version。若您配置 同步类型 时未勾选 库表结构同步，则需要手动在目标表中添加...
同步时源库为MySQL的注意事项及限制
源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB MySQL版...
用户权限说明
OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步用户需要如下权限：目标端为 Kafka、DataHub 和 RocketMQ 等消息队列类型时，需要对源端待同步数据库具备 SELECT 权限。目标端为 MySQL ...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
数据方案概览
空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
PolarDB MySQL版同步至ClickHouse集群
待同步数据库、表和列的名称符合云数据库ClickHouse的命名规范，相关规范请参见 对象命名规范限制。在库表结构同步阶段，DTS会在目标表中添加字段_sign 和_version，若您配置 同步类型 时未勾选 库表结构同步，则需要手动在目标表中添加...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
RDS MySQL同步至ClickHouse集群
待同步数据库、表和列的名称符合云数据库ClickHouse的命名规范，相关规范请参见 对象命名规范限制。在库表结构同步阶段，DTS会在目标表中添加字段_sign 和_version。若您配置 同步类型 时未勾选 库表结构同步，则需要手动在目标表中添加...
最佳实践概览
通过reindex将自建Elasticsearch数据迁移至阿里云 通过实例私网打通将自建Elasticsearch数据迁移至阿里云 第三方Elasticsearch数据迁移 腾讯云Elasticsearch数据迁移至阿里云 从AWS迁移Elasticsearch索引至阿里云 数据库同步 RDS MySQL同步...
同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为TiDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）...
云监控控制台查看监控
您可以查看各云服务的监控图表，了解资源的运行状况...MaterializeMySQL同步失败个数 使用MaterializeMySQL引擎创建的同步数据库同步失败个数。延迟Insert个数 延迟的插入语句个数。Kafka外表消费发生错误个数 同步失败的Kafka外表消费个数。
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
PostgreSQL数据源
PostgreSQL数据库会为同步数据程序启动 wal_sender 进程来给订阅者发送日志。对于每一个需要同步的表，需要手动执行 ALTER TABLE[tableName]REPLICA IDENTITY FULL 语句进行授权，否则实时同步任务会报错。PostgreSQL实时同步任务启动后，...
- 产品推荐
- 这些文档可能帮助您