概述
数据管理DMS 的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务...配置任务流依赖检查节点 相关文档 变量 任务编排之电商打标 通过任务编排实现跨库数据同步 通过跨库Spark SQL任务将数据同步到OSS
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
低成本跨境文件传输
本文介绍如何通过OSS加速域名，配合函数计算和 Serverless 工作流，快速打造低成本、高效的跨境对象存储数据同步传输系统。应用场景 需要跨境传输对象存储数据。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定程度的...
全球多活使用限制
一个分布式实例中的子实例必须都在中国内地或都在其他地域，若您需要在中国内地地域与其他地域之间进行数据同步，请使用DTS数据同步功能，更多信息请参见 申请跨境数据同步权限。成为分布式实例的子实例后，存在如下限制：不支持变更 实例...
全球多活使用限制
一个分布式实例中的子实例必须都在中国内地或都在其他地域，若您需要在中国内地地域与其他地域之间进行数据同步，请使用DTS数据同步功能，更多信息请参见 申请跨境数据同步权限。成为分布式实例的子实例后，存在如下限制：不支持变更 实例...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
互联网教育：尚学博志（上海）教育科技有限公司
为了满足校园大脑数据中心系统的数据分析需求，我们额外部署了专用的OLAP系统来与其主业务系统之间通过DTS/ETL的方式保持进行数据同步。业务的不断发展为这一套系统带来前所未有的挑战，突出表现在以下几点：MySQL主节点+只读节点的方式扩...
MaxCompute数据源
该场景下，您需先购买云企业网，连通DataWorks服务与MaxCompute项目的网络，网络连通后才可跨地域执行数据同步操作。云企业网的介绍及相关操作，请参见 云企业网。离线读 MaxCompute Reader支持读取分区表、非分区表，不支持读取虚拟视图、...
低成本跨境文件传输
本文介绍如何通过 Serverless 工作流、函数计算、对象存储、专用网络、云服务器及弹性公网IP的组合方案，实现低成本跨境文件的传输。应用场景 跨境对象存储数据传输。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定...
RDS PostgreSQL间的双向同步
重要 由于数据同步两端的系统时间可能存在差异、同步存在延时等多种因素，DTS无法完全保证冲突检测机制能够完全防止数据的冲突。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向...
RDS PostgreSQL间的双向同步
重要 由于数据同步两端的系统时间可能存在差异、同步存在延时等多种因素，DTS无法完全保证冲突检测机制能够完全防止数据的冲突。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向...
解决方案与客户案例
针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据 双向 实时同步，保证每个单元都有全量数据。每个单元均可进行读写操作，读写流量会根据业务定制的分流策略...
解决方案与客户案例
针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据【双向】实时同步，保持每个单元都有全量数据，每个单元均可进行读写操作，读写流量会根据业务定制的分流...
新增和使用独享数据集成资源组
因此，您需要在保证网络连通的前提下，再使用数据集成，如果网络不通，会导致数据同步任务无法执行。独享数据集成资源组与数据源间的网络连通方案和白名单注意事项，详情请参见：独享数据集成资源组。说明 如果您暂无连通数据库实例的需求...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
通过跨库Spark SQL任务将数据同步到OSS
如果您需要将分析结果同步回在线库，请参见 通过任务编排实现跨库数据同步。操作步骤 准备工作。新增跨库Spark SQL任务。配置跨库Spark SQL任务。发布跨库Spark SQL任务。准备工作 在线库MySQL中创建订单表、商品表。登录 数据管理DMS 5.0...
数据引入概述
背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）...
数据引入概述
背景信息 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）...
数据同步概述
背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见 数据集成概述。重要 因数据同步...
数据同步概述
背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见 数据集成概述。重要 因数据同步...
DataHub通过数据集成批量导入数据
背景信息 数据集成是阿里云提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可以为20多种数据源提供不同网络环境下的离线数据进出通道。本文以配置DataHub数据源为例，如果您需要使用其它类型...
PolarDB PostgreSQL版间的迁移
其他限制 全量数据初始化时将占用源库和目标库一定的读写资源，会导致数据库的负载上升，因此在执行数据同步前需评估源库和目标库的性能，建议在业务低峰期执行数据同步。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，...
DRDS（PolarDB-X）数据源
DRDS（PolarDB-X）数据源为您提供读取和...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与DRDS（PolarDB-X）的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
功能特性
迁移数据库账号 数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景 功能集 功能 功能描述 参考文档 同步链路管理 一键反向容灾...
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与PolarDB-X 2.0的网络交互次数，并提升整体吞吐量。但是如果该值设置过大，会导致内存溢出。否 256
独享数据集成资源组
功能介绍 独享数据集成资源组的功能亮点如下：支持复杂网络环境下的数据同步。例如，跨云环境（金融云、政务云等）、跨阿里云账号、本地IDC数据同步。具有丰富的产品能力：支持离线数据同步。例如，增量与全量数据同步，单表及分库分表数据...
灾备方案
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
灾备方案介绍
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
离线同步能力说明
复杂网络环境下的数据同步 离线同步支持云数据库，本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据...
数据集成服务
应用场景 DataWorks数据集成 是稳定高效、弹性伸缩的数据同步平台，适用于MySQL、Oracle、MaxCompute、Tablestore等多种异构数据源之间的数据迁移同步。表格存储支持通过DataWorks数据集成实现的数据迁移场景包括将数据库数据迁移到表格...
RDS SQL Server间的同步
通过数据传输服务DTS（Data Transmission Service），可以实现 RDS SQL Server 间的数据同步。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 同步方案概览。创建方式，请参见 快速创建RDS SQL Server实例。重要 在混合...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
不同阿里云账号下RDS实例间的数据同步
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
不同阿里云账号下RDS实例间的数据同步
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步时，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
技术架构
创建异地从集群并保持数据同步，不会影响现有主集群的稳定性和性能。跨地域读写分离 特点 读请求通常情况下会直接发往当前地域下的从集群，而写请求则被转发至主集群。说明 从集群中的主节点主要用于异步复制主集群数据。为减少跨地域下...
常见问题
由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据库名、表名或者列名造成的同步失败（例如表名中含有空格、中文等），可以向ADB提...
- 产品推荐
- 这些文档可能帮助您