离线同步并发和限流之间的关系
任务并发数配置最佳实践：任务并发数越大，任务运行需要抢占的资源越多，DataWorks数据集成任务的资源队列是FIFO（先进先出），即前面提交任务先抢占资源运行，后提交的任务后抢占资源运行。建议您合理配置任务并发数，避免大并发任务长...
文档修订记录
增强分析（卡片和报告）2023.08.04 新增功能 数据集成 以Kafka实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖 Kafka单表实时入湖OSS（HUDI）2023年7月更新记录 时间 特性 类别 描述 产品文档 2023.7.31 优化体验 数据服务 ...
功能特性
迁移数据库账号 数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景 功能集 功能 功能描述 参考文档 同步链路管理 一键反向容灾...
MySQL数据源
常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢？MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
离线同步常见问题
具体原因及解决方案详情请参见：为什么数据集成任务一直显示wait？说明 由于离线同步任务通过调度资源组下发到数据集成执行资源组上执行，所以一个离线同步任务将同时耗费一个调度资源，若离线同步任务长时间运行未释放资源，除了阻塞其他...
RDS实时同步至Hologres
本文以GitHub公开事件数据为例，为您介绍使用Hologres+DataWorks数据集成构建实时数仓，并通过Hologres对接BI分析工具（本文以DataV为例）的基本步骤，实现海量数据的实时分析。示例架构 其中：待处理数据：本实践使用GitHub公开事件作为...
实时数据集成（Flink版）
Flink全托管产品支持您自定义连接器后上传使用，物联网平台提供连接器 iot-source 的使用说明，请参见 实时数据集成的连接器。使用限制 限制项 说明 地域 华东2（上海）、华南1（深圳）、华北2（北京）、美国（弗吉尼亚）。物联网平台企业...
Kafka数据源
整库实时写 实时数据同步任务仅支持使用 独享数据集成资源组。对于源端同步表有主键的场景，同步时会使用主键值作为kafka记录的key，确保同主键的变更有序写入kafka的同一分区。对于源端同步表无主键的场景，如果选择了支持无主键表同步...
OSS数据源
整库离线、整库（实时）全增量、整库（实时）分库分表等整库级别同步配置指导 操作流程请参见 数据集成侧同步任务配置。常见问题 读取OSS文件是否有文件数限制？写入OSS出现随机字符串如何去除？附录：脚本Demo与参数说明 附录：离线任务...
实时同步字段格式
本文为您介绍数据集成实时同步字段的格式及附加列。数据集成实时同步MySQL或Oracle数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型...
常见问题
主要用于两个数据源之间的数据实时同步，适用于异地多活、数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等场景。支持的数据库 请参见 迁移方案概览。请参见 同步方案概览。支持的数据库部署位置（接入方式）阿里云实例 有...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
RDS术语
DTS Data Transmission Service，数据传输服务，是阿里云提供的实时数据流服务，支持RDBMS、NoSQL、OLAP等，集数据迁移/订阅/同步于一体，为您提供稳定安全的传输链路。更多信息，请参见 什么是数据传输服务DTS。地域 地域指的是您购买的...
新功能发布记录
配置SQL赋值节点 08月 功能名称 变更类型 功能描述 相关文档 数据管理DMS升级到5.0版本 迭代 数据管理DMS 5.0控制台的功能模块按照使用场景进行划分，同时集成了DTS实时数据传输功能。DMS控制台切换 07月 功能名称 变更类型 功能描述 相关...
RDS SQL Server迁移至DataHub
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 迁移至 阿里云流式数据服务DataHub。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。已开通 DataHub 服务，并且已创建用作...
自建Oracle迁移至云原生数据仓库 AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle迁移至 云原生数据仓库AnalyticDB PostgreSQL版，帮助您构建实时数仓。前提条件 已创建源数据库自建Oracle和目标实例 云原生数据仓库AnalyticDB PostgreSQL版。说明 目标实例...
PolarDB-X 2.0迁移至DataHub
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。其他限制 仅支持表级迁移。目标DataHub中单个String字段的长度最大支持2 MB。执行数据迁移前需评估源库和目标库的性能，同时建议在业务低峰期执行数据迁移。否则全量...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
云数据库Redis间的迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service，简称DTS），实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式，请参见 创建Redis实例。支持的版本，请参见 ...
RDS MariaDB迁移至RDS PostgreSQL
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。其他限制 请勿对源库的迁移对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致迁移失败。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND...
PolarDB-X 2.0间的迁移
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB-X 2.0 间的数据迁移。前提条件 已创建源和目标 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。目标 PolarDB-X 2.0 实例的存储空间须大于源 PolarDB-X 2.0 实例占用的...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
PolarDB-X 1.0迁移至AnalyticDB MySQL 3.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将PolarDB-X 1.0迁移至 云原生数据仓库 AnalyticDB MySQL 版 3.0。前提条件 已创建源PolarDB-X 1.0实例。具体操作，请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为...
自建Oracle迁移至自建PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c。自建Oracle数据库已开启...
PolarDB MySQL版迁移至RDS MySQL
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。注意事项 不支持迁移源 PolarDB MySQL版 只读节点。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
PolarDB-X 2.0迁移至PolarDB MySQL版
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。PolarDB分布式版 需兼容MySQL 5.7版本。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库...
RDS MySQL迁移至PolarDB-X 1.0
为实时保持数据一致性，建议选择全量数据迁移和增量数据迁移。若您需要迁移增量数据，则不记录事务日志的RDS MySQL实例（如RDS MySQL 5.6版本的只读实例）不支持作为源库。PolarDB-X 1.0 实例的存储类型需为RDS MySQL（即私有定制RDS），暂...
PolarDB-X 2.0迁移至RDS MySQL
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。PolarDB分布式版 需兼容MySQL 5.7版本。其他限制 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库...
自建Oracle迁移至PolarDB PostgreSQL版
PolarDB PostgreSQL版 集群是具备高性能、海量存储、安全可靠的数据库服务，本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle迁移至 PolarDB PostgreSQL版 集群。前提条件 已创建存储空间大于源自建Oracle占用...
PolarDB MySQL版迁移至RDS MySQL
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。注意事项 不支持迁移源 PolarDB MySQL版 只读节点。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标...
PolarDB MySQL版间迁移
通过数据传输服务DTS（Data Transmission Service），可以帮助您实现 PolarDB MySQL版 集群间的数据迁移。说明 目前 PolarDB MySQL版 集群暂不支持升级MySQL版本至8.0版本，您可以创建一个新的 PolarDB MySQL版 集群（8.0版本），使用本...
自建MySQL迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
自建Oracle迁移至PolarDB MySQL版
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标集群 PolarDB MySQL版。说明 目标集群 PolarDB ...
从自建MySQL迁移至RDS MySQL实例
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他云上的MySQL数据库迁移至 RDS MySQL 实例。DTS支持库表结构迁移、全量迁移以及增量迁移，同时使用这三种迁移类型可以实现在自建...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
RDS MySQL实例间的迁移
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在业务不停服的情况下，平滑地完成数据库的迁移。支持的源和目标数据库 本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例...
RDS MySQL迁移至PolarDB MySQL版
为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。其他限制 建议源和目标库的MySQL版本保持一致，以保障兼容性。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS...
自建MySQL迁移至PolarDB MySQL版
通过数据传输服务DTS（Data Transmission Service），可以帮助您将自建MySQL数据库迁移至 PolarDB MySQL版 集群。支持的源数据库 MySQL与 PolarDB MySQL版 集群间的迁移，支持源数据库MySQL为以下类型。本文以有公网IP的自建数据库为例介绍...
- 产品推荐
- 这些文档可能帮助您