数据迁移和同步方案概览
升级数据库大版本 数据迁移 变更实例配置 按时间点将备份数据恢复至新建实例 恢复云数据库MongoDB单个或多个数据库 使用限制 单节点实例不支持增量数据迁移与同步。数据迁移方案 您可以通过以下方式迁移MongoDB数据库的数据。重要 单节点...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
从ECS上的自建MySQL同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
数据方案概览
空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
DML操作：INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 授权方法 RDS SQL Server实例 待同步数据库的所有者权限。修改账号权限 云原生数据仓库AnalyticDB PostgreSQL实例 LOGIN权限。目标表的SELECT、CREATE、INSERT、...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
DML操作：INSERT、UPDATE、DELETE 数据库账号的权限要求 数据库 所需权限 授权方法 RDS SQL Server实例 待同步数据库的所有者权限。修改账号权限 云原生数据仓库AnalyticDB PostgreSQL实例 LOGIN权限。目标表的SELECT、CREATE、INSERT、...
MongoDB 3.4（已停止新购）
使用MongoDB工具将自建数据库迁移至副本集实例 使用MongoDB工具将自建数据库迁移至分片集群实例 使用NimoShake工具将Amazon DynamoDB数据库迁移至阿里云数据库MongoDB 使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
用户权限说明
OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步用户需要如下权限：目标端为 Kafka、DataHub 和 RocketMQ 等消息队列类型时，需要对源端待同步数据库具备 SELECT 权限。目标端为 MySQL ...
从PolarDB MySQL版同步到Kafka
数据库账号 填入 PolarDB MySQL版 集群的数据库账号，需要具备待同步数据库的读权限。数据库密码 填入该数据库账号的密码。目标实例信息 实例类型 根据Kafka集群的部署位置选择，本文以 ECS上的自建数据库 为例介绍配置流程。说明 当选择为...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
从PolarDB MySQL版同步到Kafka
数据库账号 填入 PolarDB MySQL版 集群的数据库账号，需要具备待同步数据库的读权限。数据库密码 填入该数据库账号的密码。目标实例信息 实例类型 根据Kafka集群的部署位置选择，本文以 ECS上的自建数据库 为例介绍配置流程。说明 当选择为...
DeleteFailedDrdsDB
调用DeleteFailedDrdsDB接口删除创建或者过程中失败的PolarDB-X数据库。不同于DeleteDrdsDB（删除PolarDB-X数据库接口），该接口只针对创建或者删除PolarDB-X数据库的过程中出现失败的库。请求参数 参数名 类型 是否必须 说明 Action ...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
Python程序如何连接RDS MySQL数据库
详细信息 Python标准的数据库接口为Python DB-API，大多数Python数据库接口使用该标准。Python2 参考如下步骤，先安装MySQLdb模块，然后使用import语句导入。通过编译或者pip安装MySQLdb。参考如下Python代码进行连接。import MySQLdb db=...
同步时源库为MySQL的注意事项及限制
源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB MySQL版...
数据集成侧同步任务能力说明
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
服务端接入说明
验证用户一致性：该验证一般用于对同步数据有较高用户安全性要求的业务场景。前置条件 您已 开通 mPaaS 产品，并且已从租户管理员处获取 AccessKey 与 AccessSecret。您已创建好一个 App，并且已获得该 App 的 appId 和 workspaceId。您已...
JDBC数据源
指定同步数据库 以下参数和指定同步数据库有关：only_specified_database：在通过JDBC连接时可以指定连接到哪个Database或Schema。如：MySQL的 jdbc_url 中可以指定Database，PostgreSQL的 jdbc_url 中可以指定currentSchema。include_...
CREATE TABLE AS（CTAS）语句
如果您需要同步数据库名称和表名称，请使用SQL命令创建Catalog，并添加catalog.table.metadata-columns参数。详情请参见 SQL命令。不支持同步MySQL视图。消息队列Kafka√无。MongoDB√暂不支持分库分表合并同步。暂不支持同步MongoDB元信息...
同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为TiDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
一键升级RDS MySQL X-Engine至PolarDB MySQL版
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
配置匹配规则
数据同步项目中，仅 OceanBase 数据库 MySQL 租户至 AnalyticDB MySQL、RDS PostgreSQL 实例至 OceanBase 数据库 Oracle 租户 和 OceanBase 数据库 MySQL 租户之间的数据同步 支持通过配置通配规则的方式选择同步对象。在 选择迁移对象 ...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
- 产品推荐
- 这些文档可能帮助您