使用 SDK
在监听同步业务之前，需要先定义好具体的同步业务的业务标识名称（对应数据同步控制台上的同步配置标识），该参数就是作为使用者的您和服务提供者联系的纽带。在以下示例中，业务标识名称为 SYNC-TRADE-DATA。import...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
设置过滤条件
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。该功能常应用于分库分表、同步或迁移部分数据等场景。前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法...
常见问题
使用API方式同步的时候，支持使用来源端的（例如MaxCompute）函数做聚合吗？例如源表有a、b两列作为Lindorm的主键。同步的数据表，是否只能使用Alter方式来修改TTL?Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步...
RDS全量同步和增量同步
2023年3月10日后购买的LTS将无法使用RDS全量同步和增量同步功能，2023年3月10日前购买的LTS仍可正常使用此功能。使用场景 RDS低成本历史库。RDS数据全量迁移至云数据库HBase。前提条件 LTS的购买时间在2023年3月10日之前。已登录LTS页面，...
创建并管理数据源
例如，同步MaxCompute数据前，需先创建MaxCompute数据源，创建完成后可在数据集成模块选择该数据源，控制同步任务读取或写入的数据库或数据仓库。背景信息 为了给您带来更为统一的产品使用体验，DataWorks于 2023年10月20日 开始逐步将...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
RDS全增量同步
2023年3月10日后购买的LTS将无法使用RDS全增量同步功能，2023年3月10日前购买的LTS仍可正常使用此功能。使用场景 RDS低成本历史库。RDS数据全量迁移至Lindorm。前提条件 LTS的购买时间在2023年3月10日之前。已登录LTS页面。具体操作，请...
控制台简介
数据同步控制台提供管理推送配置及执行业务数据推送的功能。一条推送配置相当于一个具体的数据推送的业务场景，而业务数据推送就是实现该配置所对应的业务场景。通过数据同步控制台，您可以进行以下操作：新增推送配置 发送业务数据 查看...
使用NimoShake将Amazon DynamoDB迁移至阿里云
全量同步：包含数据同步和索引同步两个部分，基本架构如下：数据同步：NimoShake使用多个并发线程拉取源端数据，如下图所示。线程名称 说明 Fetcher 调用Amazon提供的协议转换驱动批量抓取源表的数据并放入队列中，直至抓取完源表的所有...
数据同步拓扑介绍
拓扑类型 拓扑图 说明 一对一单向同步 无 一对多单向同步 您需要购买多个同步实例来实现一对多单向同步。例如，从实例A同步到实例B、实例C和实例D，那么您需要购买三个同步实例。级联单向同步 您需要购买多个同步实例来实现级联单向同步。...
CREATE TABLE AS（CTAS）语句
VVR 4.0.16以下版本，不支持在一个作业中使用多个CTAS语句将同一张数据源表同步到不同的结果表。CTAS支持的上下游存储列表如下，您可以从下表的源表和结果表中各选一个进行组合。连接器名称 源表 结果表 备注 MySQL√分库分表合并同步时，...
实时数据同步
支持的同步链路 数据源端 数据目的端 支持的拓扑 备注 MySQL Zsearch（云搜）单向同步 已支持 OceanBase ODPS、DataHub 单向同步 已支持（仅专有云）ORACLE ODPS 单向同步 已支持（仅专有云）MySQL MySQL 单向同步 规划中 数据同步对象 ...
API概览
说明 以下接口将于2022年1月1日停止维护，推荐您使用新版API。数据迁移 API 描述 CreateMigrationJob 购买迁移实例。ConfigureMigrationJob 配置迁移实例。StartMigrationJob 启动迁移实例。SuspendMigrationJob 暂停迁移实例。...
新增数据同步任务
操作步骤 进入数据同步服务控制台，在左侧导航栏中，选择 数据同步任务。单击 添加任务，选择 RDS 数据源同步到分布式搜索服务 的场景。开始设置和校验参数：任务名称：包含字母、数字及下划线，并且以字母开头。任务名称有唯一性要求，...
RDS 同步到云搜
本文介绍如何使用数据同步服务快速配置 RDS 到云搜（ZSearch）的数据实时同步，以进行业务的实时搜索。支持功能 支持 RDS 数据表到 ZSearch 的实时数据同步 任务创建成功后支持修改同步对象 支持的 SQL 操作类型 RDS>云搜 实时同步支持以下...
OceanBase 数据库之间的数据迁移
本文为您介绍如何使用数据传输迁移 OceanBase 数据库的数据至 OceanBase 数据库同类型租户中。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
本文为您介绍如何使用数据传输迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
离线同步数据质量排查
背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...
PolarDB MySQL版同步至阿里云消息队列Kafka版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB MySQL版 集群同步至 阿里云消息队列Kafka版，扩展消息处理能力。前提条件 已创建源 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 购买包年包月集群。...
源为PolarDB-X的任务配置方案
任务配置方案 方案 配置方式 特点总结 方案一 针对 PolarDB分布式版 下的多个RDS MySQL实例，配置多个同步或迁移至目标实例的DTS任务，并且在配置过程中，需将多个RDS MySQL的数据库表名都映射成目标实例的库表名。该方案相比于直接配置 ...
源为PolarDB-X的任务配置方案
任务配置方案 方案 配置方式 特点总结 方案一 针对 PolarDB分布式版 下的多个RDS MySQL实例，配置多个同步或迁移至目标实例的DTS任务，并且在配置过程中，需将多个RDS MySQL的数据库表名都映射成目标实例的库表名。该方案相比于直接配置 ...
2022年
功能名称 功能概述 变更分类 产品文档 新增多活容灾架构拓扑图展示 新增多活容灾拓扑图页面，支持拓扑图的形式可视化的呈现多活架构的全貌，包括多活流量划分、应用节点数量、微服务/消息/数据库部署情况、同步链路状态、多活控制台纳管...
Oracle数据导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
HybridDB for MySQL数据源
例如需要进行多表join后同步数据，使用[“id”,“table”,“1”,“‘mingya.wmy’”,“‘null’”,“to_char(a+1)”,“2.3”,“true”]。当您配置querySql时，HybridDB for MySQL Reader直接忽略 column、table 和 where 和splitPk条件的...
全球多活使用限制
为保障实例的稳定和数据一致性，在使用 全球多活 功能时，有一些使用约束需要您注意。使用限制 子实例需满足以下条件：部署模式为 经典（原本地盘）。存储介质为 内存型。架构为标准架构或集群架构。说明 请确保各子实例规格一致，如需进行...
全球多活使用限制
为保障实例稳定性和数据一致性，在使用全球多活功能时，有一些使用约束需要您注意。使用限制 子实例需满足以下条件：部署模式为 经典（原本地盘）。存储介质为 内存型。架构为标准架构或集群架构。说明 请确保各子实例规格一致，如需进行变...
PostgreSQL数据源
说明 实时同步只支持逻辑复制机制，逻辑复制使用发布和订阅模型，其中一个或多个订阅者订阅发布者节点上的一个或多个发布。订阅者从他们订阅的发布中提取数据。表的逻辑复制通常从对发布者数据库上的数据进行快照并将其复制到订阅者开始。...
快速入门-数据同步
使用 云备份 控制台进行数据同步的步骤如下所示：说明 同步HDFS、本地NAS、S3和OSS数据源前，您需要在数据源所在服务器安装客户端。客户端用于和 云备份 建立数据和管控服务。开通云备份 开通 云备份 免费。使用该功能，云备份 不收取任何...
DM（达梦）数据源
例如，需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置 querySql 时，DM Reader直接忽略 column、table 和 where 条件的配置。否 无 fetchSize 该配置项定义了插件和数据库...
SQL Server数据源
当配置此项后，数据同步系统就会忽略tables、columns配置项，直接使用这项配置的内容对数据进行筛选，例如需要进行多表join后同步数据，使用 select a,b from table_a join table_b on table_a.id=table_b.id。当您配置querySql时，SQL ...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
实时同步常见问题
原因之一就是同步的binlog变多，因为binlog是实例级别，即便配置的同步任务只同步了表A，那么没有在任务中的表B、表C等如果发生变更，也会生成binlog，这些额外增加的binlog就会使同步处理的速度变慢。实时同步中选择单库与选择多库的内存...
Quick BI组合图中双Y轴刻度同步功能为什么同步垂直...
概述 Quick BI组合图中双Y轴刻度同步功能为什么同步垂直左轴的刻度，而不是同步垂直右轴的刻度。详细信息 当两个度量字段刻度差别较大时，大的刻度包含小的刻度，双Y轴刻度同步功能则会将小的刻度同步为大的刻度，以便展示数据。与垂直左轴...
迁移工具
使用DataWorks/DataX、表格存储的通道服务等迁移工具，在不影响业务的情况下您可以实现表格存储数据的全量迁移、增量迁移或者实时同步。本文介绍如何选择迁移工具。迁移工具选择 迁移数据时，请根据实际业务选择合适的迁移工具。表格存储...
配置MQ
步骤四：导入、生效以及同步Topic 登录 多活容灾MSHA控制台。在 命名空间 页面的命名空间选择下拉框，选择已新建的命名空间。在左侧导航栏，选择 异地双活>MQ配置。在 异地双活MQ配置 页面，导入Topic资源。在 Topic 页签中，单击 导入。在...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
Java SDK 接入
BIZ_NOT_ONLINE 业务场景同步标识未提交上线 前往 mPaaS 控制台>移动同步 检查 bizType 对应同步标识已配置并提交上线。THIRD_MSG_ID_IS_NULL 三方业务 ID 为空 检查三方业务 ID 是否为空。SYSTEM_ERROR 系统异常 联系技术支持确认系统异常...
异地多活常见问题
异地多活核心在于流量控制、数据同步、一站式管控、架构演进四个点。入口流量分发和数据同步仅仅只是完成了四分之一，还有四分之三需要进行建设，否则不具备可用点能力。基于MSHA的业务改造成本是怎样的？改造成本核心在于确定分流标示和...
- 产品推荐
- 这些文档可能帮助您