功能简介
系统提供目标端自动建表、源端目标端字段自动映射、批量创建同步任务和引用数据模块进行同步任务配置等多种便捷同步任务创建能力，帮助用户更便捷的完成数据同步配置。在完成数据同步配置后，数据同步模块可对数据同步任务的执行和运行情况...
PolarDB-X 1.0同步至阿里云消息队列Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
LDAP配置
重要 此项请务必谨慎填写，添加完成后一定不要随意更改，因为在本系统与 LDAP（或 AD）进行同步数据时，如果 BaseDN 发生改变会使双方组织机构目录无法对应而导致数据同步失败。步骤二：输入账号内容 输入管理员DN：管理员必须有权限访问...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
离线同步任务调优
跨云、跨区域同步数据时，建议网络打通后走内网进行同步，网络连通解决方案详情请参见：配置资源组与网络连通。检查数据库负载情况。限制同步速度 数据集成同步任务默认不限速，任务将在所配置的并发数的限制上以最高能达到的速度进行同步...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
在RDS MySQL中创建数据库（Database）test_logstash 建表语句-create table CREATE TABLE `es_test`(`id` bigint(32)NOT NULL,`name` varchar(32)NULL,`age` bigint(32)NULL,`hobby` varchar(32)NULL,PRIMARY KEY(`id`))ENGINE=InnoDB ...
PolarDB-X（DRDS）同步方案选取指南
批量查询数据然后进行同步的场景。使用前，需要先在Logstash中上传与PolarDB-X版本兼容的SQL JDBC驱动。需要在PolarDB-X的白名单中加入Logstash集群中节点的IP地址。需要确保Logstash和PolarDB-X实例在同一时区（避免同步过程中出现时间...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
使用MongoShake实现MongoDB实例间的单向同步
支持的数据源 源数据库 目标数据库 ECS上的自建MongoDB数据库 ECS上的自建MongoDB数据库 本地自建的MongoDB数据库 本地自建的MongoDB数据库 阿里云MongoDB实例 阿里云MongoDB实例 第三方云MongoDB数据库 第三方云MongoDB数据库 注意事项 在...
结构同步
数据管理DMS 的结构同步功能支持对比不同数据库、指定表之间的表结构，产生差异化脚本并执行到目标数据库。适用于对比、同步多套数据库环境的表结构，例如生产库与测试库、不同的测试库、不同的生产库等。前提条件 支持的数据库类型如下：...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
GenerateDISyncTaskConfigForUpdating
当脚本中包含SelectedTables语句时，系统会使用SelectedTables语句中的表信息进行同步。当脚本中包含Tables语句时，系统会使用Tables的字段信息进行同步。ClientToken String 否 ABFUOEUOTRTRJKE 幂等参数。用于避免多次调用导致操作重复。...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
DescribeSynDbs-查看同步db
7655F5F9-1313-5ABA-8516-F6EB79605A5F SynDbs object[]同步数据。RdsId string 云数据库 RDS MySQL 的实例 ID。rm-wz9d11qg1j0h4*SynDb string 云数据库 RDS MySQL 的数据库。database SynStatus boolean 同步是否成功，取值说明：true：...
SQL Server数据源
增量数据同步的方式 SQL Server Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑删除）。...
全量数据同步
ys_yhkh（未上云）同步模式 数据进行同步的方式，默认全量。全量 自定义条件 支持输入自定义SQL查询条件，根据条件进行全量数据同步。gz>10000 说明 全量同步工资大于10000的银行客户数据。在 目标端配置 区域，配置目标端数据。参数 说明 ...
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
全球数据库常见问题
本文档介绍了全球数据库（GDN）的常见问题。GDN主从数据路由的逻辑是什么？GDN的跨地域读写分离功能需要依赖 PolarDB 集群的集群连接地址实现。从集群的读请求通常情况下会直接发往本地，而写请求则被转发至主集群。详情请参见 技术架构。...
通过向导模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
通过脚本模式配置离线同步任务
关系型数据库配置切分键 定义将源端待同步数据基于源端哪一个字段进行切分，同步任务执行时将根据该字段切分为多个task，以便并发、分批读取数据。说明 推荐splitPk用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不...
MySQL数据源
若要处理XA ROLLBACK场景，需要手动将XA ROLLBACK的表从实时同步任务中移除，再添加表后重新进行同步。仅支持同步MySQL服务器Binlog配置格式为ROW。实时同步不会同步被级联删除的关联表记录。离线读 MySQL Reader插件在进行分库分表等多表...
GenerateDISyncTaskConfigForCreating
当脚本中包含SelectedTables语句时，系统会使用SelectedTables语句中的表信息进行同步。当脚本中包含Tables语句时，系统会使用Tables的字段信息进行同步。同步MySQL数据至MaxCompute，示例语句如下。{"type":"realtime","version":"1.0",...
数据同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）的同步方案 源为数据...
DRDS（PolarDB-X）数据源
增量数据同步的方式 DRDS（PolarDB-X）Reader使用JDBC SELECT语句完成数据抽取工作，因此您可以使用 SELECT…WHERE…进行增量数据抽取，方式如下：数据库在线应用写入数据库时，填充modify字段为更改时间戳，包括新增、更新、删除（逻辑...
影子表同步
单击下一步进行同步影子表结构分析。信息项 说明 同步的表 同步的表 页签中，显示源表名、影子表名和分析结果，单击 查看 支持查看源表结构、影子表结构和结构变更 SQL 语句，单击 跳过 支持不同步该影子表。不同步的表 不同步的表 页签中...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
离线同步常见问题
实例ID形式添加数据源：在数据库名后拼接，格式为 database?com.mysql.jdbc.faultInjection.serverCharsetIndex=45 。修改数据库相关的编码格式为utf8mb4。例如，在RDS控制台修改RDS的数据库编码格式。说明 设置RDS数据源编码格式命令：set...
MySQL整库周期性增全量同步至Hive
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS ...如果您在数据源RDS中变更了原始数据，在 Serverless Presto>SQL执行 页面进行查询时，数据会同步进行更新。
MySQL整库周期性增全量同步至MaxCompute
本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以...
从RDS原生实时同步
HybridDB for MySQL原生支持直接从RDS实时同步数据，用户可以快速地构建起RDS到HybridDB for MySQL的同步关系，轻松实现数据流转和复杂查询加速。前提条件 必须使用阿里云主账户执行该操作。该操作只支持阿里云RDS for MySQL（5.6版本）...
增加或删除已运行任务的同步表
如果勾选 支持源表无主键同步，那么源表没有主键，您需要单击 图标，自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键进行同步数据时进行去重判断。④ 包括 使用已有Topic 和 自动建Topic。⑤ 选择的 Topic建立方式，取值...
MySQL整库离线同步到OSS
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
迁移或同步指定时间段内的数据
实时数据复制 重要 实时数据复制是通过WAL日志（Write-Ahead Log）进行同步的，因此只能同步系统当前日志中的数据，例如设置同步的开始时间为3天前，而WAL日志只涵盖了1天前的数据，那么实时数据复制只能同步1天前的数据。历史数据的同步...
DeleteSyndb-删除同步任务
cc-bp158i5wvj436*SynDb string 是 云数据库 RDS MySQL 的数据库。database 返回参数 名称 类型 描述 示例值 object 返回结果。RequestId string 请求 ID。2C7393F1-5FD1-5CEE-A2EA-270A2CF99693 Status boolean 删除是否成功，取值说明：...
MSE Sync迁移方案
重要 使用MSE Sync迁移工具对ZooKeeper的数据节点进行同步时，源集群和目标集群不支持同时变更同一个Znode，否则写入的数据在迁移过程中可能会丢失。请勿使用配置同步方式进行服务及临时节点（ephemeral节点）同步。Eureka Nacos Eureka...
影子表同步
确认待执行的SQL脚本，单击 确认进行同步。单击后，系统将开始执行同步脚本，您可以单击 详情 按钮，查看执行日志详细，包括执行语句、执行所用时间、调度详情等信息。Crontab表达式 时间间隔的单位可以是秒、分钟、小时、日、周或月的任意...
- 产品推荐
- 这些文档可能帮助您