跨云账号单向同步云数据库Redis实例
说明 目标云数据库Redis支持的版本为4.0或5.0版本，如需跨版本同步（仅支持从低版本同步到高版本）请提前确认兼容性。例如创建按量付费的云数据库Redis来测试，测试完成后可将该实例释放或转为包年包月。跨云账号同步Redis实例支持集群架构...
通过跨库Spark SQL任务将数据同步到OSS
如果您需要将分析结果同步回在线库，请参见 通过任务编排实现跨库数据同步。操作步骤 准备工作。新增跨库Spark SQL任务。配置跨库Spark SQL任务。发布跨库Spark SQL任务。准备工作 在线库MySQL中创建订单表、商品表。登录 数据管理DMS 5.0...
通过任务编排实现跨库数据同步
前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据库的变更权限。如需申请权限，请参见 DMS访问控制权限概述。准备一个AnalyticDB MySQL数据仓库，用于数据加工，且您拥有该数据仓库的变更权限。如需申请...
跨云账号单向同步云数据库Redis实例
说明 目标云数据库Redis支持的版本为4.0或5.0版本，如需跨版本同步（仅支持从低版本同步到高版本）请提前确认兼容性。例如创建按量付费的云数据库Redis来测试，测试完成后可将该实例释放或转为包年包月。跨云账号同步Redis实例支持集群架构...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
概述
OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase PolarDB PostgreSQL版（兼容Oracle）Oracle 达梦数据库 DB2 NoSQL：Lindorm 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA MaxCompute Hologres 对象存储：OSS ...
USE
背景信息 PolarDB-X 支持访问同一 PolarDB-X 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个数据库。语法 ...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
USE
背景信息 PolarDB-X 1.0 支持访问同一 PolarDB-X 1.0 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 1.0 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个...
从ECS上的自建MySQL同步至PolarDB MySQL版
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
从ECS上的自建MySQL同步至PolarDB MySQL版
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
API概览
DescribeSynDbTables 查看同步数据库与表 查看同步数据库与表。DeleteSyndb 删除同步任务 删除同步db。DescribeTransferHistory 查看迁移记录 查看迁移记录。TransferVersion 迁移版本 迁移版本。CreateServiceLinkedRole 创建服务关联角色...
一键创建OSS数据仓库
本文介绍如何通过向导将RDS、PolarDB for MySQL、MongoDB数据库或者ECS自建数据库数据同步到OSS中，即创建OSS数据仓库（创建Schema）。操作步骤 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏单击 ...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
选中 结构初始化 和 全量数据初始化 后，DTS会在增量数据同步之前，将源数据库中待同步对象的结构和存量数据，同步到目标数据库。上述配置完成后，单击页面右下角的 预检查并启动。说明 在同步作业正式启动之前，会先进行预检查。只有预...
Db2 for LUW同步至PolarDB-X 2.0
DTS是基于 Db2 for LUW 的CDC复制技术，将 Db2 for LUW 数据库的增量数据同步到目标库中。CDC复制技术存在自身限制，详情请参见 CDC复制技术所支持数据类型的限制。执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
背景信息 由于TiDB的Binlog格式和实现机制与MySQL数据库存在一定区别，为实现增量数据同步，同时减少对源数据库的改动，您需要部署Kafka集群以及TiDB数据库的Pump和Drainer组件。由Pump组件实时记录TiDB产生的Binlog并提供给Drainer组件，...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
数据方案概览
空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于...
2020年
通过CEN实现本地IDC与DTS云服务互通 2020年4月 DTS支持将数据库网关DG（Database Gateway）中接入的本地或第三方云的数据库作为源库或目标库。通过数据库网关将本地IDC或第三方云的数据库接入至阿里云 支持阿里云Redis企业版实例间的单向或...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
从PolarDB MySQL版同步到Kafka
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
从RDS同步至自建Kafka集群
已创建 RDS MySQL实例 或 Serverless实例 注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标...
从PolarDB MySQL版同步到Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
用户权限说明
对于 VPC 内 OceanBase 数据库，如果是增量数据同步的场景，您需要在 OceanBase 数据库的 sys 租户下创建一个用户，并赋予其 SELECT ON*.*权限。OceanBase 数据库 MySQL 租户作为目标端的权限说明 OceanBase 数据库 MySQL 租户作为目标端时...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
ETL工具支持概览
在数据集成服务中，将 AnalyticDB PostgreSQL版 配置为一个PostgreSQL数据库，即可实现其他数据源（RDS、MaxCompute、TableStore等）到 AnalyticDB PostgreSQL版 的数据同步。您可以直接从其他数据源读取数据，写入到 AnalyticDB ...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
云监控控制台查看监控
您可以查看各云服务的监控图表，了解资源的运行状况...MaterializeMySQL同步失败个数 使用MaterializeMySQL引擎创建的同步数据库同步失败个数。延迟Insert个数 延迟的插入语句个数。Kafka外表消费发生错误个数 同步失败的Kafka外表消费个数。
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
通过DataWorks实现MaxCompute跨项目迁移
数据同步 跨项目克隆功能无法复制原始项目的数据到新项目，因此您需要手动同步数据，本文中仅同步表 ods_user_info_d 的数据。新建数据源。在 数据集成 页面，单击左侧导航栏上的 数据源。在 数据源管理 页面，单击右上角 新增数据源，并...
通过DataWorks实现MaxCompute跨项目迁移
数据同步 跨项目克隆功能无法复制原始项目的数据到新项目，因此您需要手动同步数据，本文中仅同步表 ods_user_info_d 的数据。新建数据源。在 数据集成 页面，单击左侧导航栏上的 数据源。在 数据源管理 页面，单击右上角 新增数据源，并...
CREATE DATABASE AS（CDAS）语句
参数 说明 target_database 数据同步的目标数据库名，可以指定具体的Catalog名称。COMMENT 目标库的描述，默认使用source_database的描述。WITH 目标库的参数，详情请参见 管理元数据 中对应的Catalog文档。说明 key和value都需要为字符串...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
申请跨境数据同步权限
数据传输服务DTS（Data Transmission Service）默认仅支持非跨境的数据同步任务，若您需要创建跨境（跨国家或地区）的数据同步任务，需要申请开通跨境同步的权限。例如，创建从中国内地到非中国内地地域的同步任务时，需要申请跨境同步的...
- 产品推荐
- 这些文档可能帮助您