采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
创建同步计划
添加完源端和目的端数据源，您就可以创建同步计划进行数据同步任务。本文介绍创建同步计划的操作步骤。前提条件 已开通阿里云 云备份 服务。开通 云备份 不收取任何费用，数据同步功能公测中，不收取任何费用。执行数据同步任务的机器已...
一键实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
SQL Server数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 SQL Server在数据存储划分中属于RDBMS系统，对外可以...
一键实时同步至Elasticsearch
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标索引 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
DataStudio侧实时同步任务配置
说明 建议实时同步任务与离线同步任务运行在不同的资源组上，避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
PostgreSQL数据源
由于主备数据同步存在一定的时间差，特别在于某些特定情况，例如网络延迟等问题，导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 PostgreSQL在数据存储划分中属于RDBMS系统，对外可以...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
Oracle同步至Tablestore
本文以Oracle同步至表格存储Tablestore场景为例，为您介绍如何通过数据集成将Oracle的某张表数据实时同步到Tablestore。使用限制 本实践仅支持使用 独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Oracle作为...
MySQL分库分表同步至Hologres（方案2.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
全增量实时同步至Hologres
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
源为PolarDB-X的功能规范和约束说明
数据库不支持混合模式，即unit模式和copy模式混合的同步链路。说明 unit模式是多地用户分别在各自地域读写本地域的数据，且本地域的数据会和中心数据双向同步。copy模式是指此集群数据在中心数据库写入，完成后全量同步到各个单元。如果是...
源为PolarDB-X的功能规范和约束说明
数据库不支持混合模式，即unit模式和copy模式混合的同步链路。说明 unit模式是多地用户分别在各自地域读写本地域的数据，且本地域的数据会和中心数据双向同步。copy模式是指此集群数据在中心数据库写入，完成后全量同步到各个单元。如果是...
PolarDB数据源配置
同步方式选择 自动同步，OpenSearch将尽力保障同步服务的稳定性但不保障同步的延迟，如果对同步延迟比较敏感的业务建议同步方式采用 DTS数据订阅实例（DTS实时同步）；相关限制 只支持PolarDB集群的binlog为 full 模式。开启方式为：loose_...
现代IM系统中的消息系统—架构
接收方会主动的向服务端拉取所有未同步消息，但接收方何时来同步以及会在哪些端来同步消息对服务端来说是未知的，所以要求服务端必须保存所有需要同步到接收方的消息，这是消息同步库的主要作用。对于新的同步设备，会有消息漫游的需求，这...
HBase数据同步与迁移
本文介绍HBase数据同步与迁移的使用场景、功能列表、迁移优势、使用限制以及迁移任务等操作。使用场景 自建上云：将HBase数据迁移至Lindorm。跨地域迁移：例如从青岛机房迁移到北京机房。业务拆分：将部分业务迁移到新的集群。功能及优势 ...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
解决方案介绍
阿里云Web应用防火墙提供混合云解决方案，对云上和云下的Web安全进行全方位管控，可以解决在混合云环境下，Web安全无法统一管控等问题。背景信息 阿里云Web应用防火墙混合云解决方案（混合云WAF），支持为部署在阿里云公共云+线下IDC机房的...
PolarDB数据源配置
若配置了RDS/PolarDB数据源，并且同步方式选择 自动同步，OpenSearch将尽力保障同步服务的稳定性但不保障同步的延迟，如果对同步延迟比较敏感的业务建议同步方式采用 DTS数据订阅实例（DTS实时同步）；相关限制 只支持PolarDB集群的binlog...
概览
AnalyticDB PostgreSQL版 提供多种数据迁移方案，可满足不同的数据同步或迁移的业务需求，您可以在不影响业务的情况下，平滑地与各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...
RDS数据源配置
同步方式选择 自动同步，OpenSearch将尽力保障同步服务的稳定性但不保障同步的延迟，如果对同步延迟比较敏感的业务建议同步方式采用 DTS数据订阅实例（DTS实时同步）。相关限制 只支持RDS的binlog为 full 模式。只支持RDS中的MySQL常规实例...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。...前提条件 配置MySQL输入之前，请确保已完成...常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步MySQL数据报错
基于阿里云云盒的EDAS混合云应用部署
本文将为您介绍基于阿里云云盒混合云场景下，EDAS如何进行混合云ECS集群的应用发布。背景信息 EDAS支持将公共云ECS、本地IDC或其它云服务提供商的服务器通过专线连通，并添加到EDAS混合云ECS集群中，即可将应用托管到混合云ECS集群。而阿里...
为什么云存储网关与OSS上的文件不一致
基于消息通知的极速同步 针对常规反向同步的痛点问题，基于消息通知的极速同步采用 全量同步+增量更新 的结合的方案进行OSS与云存储网关元数据的同步，以 秒级快速同步OSS的变化。当配置好极速同步组后，您在详情页中可以看到当前全量同步...
MySQL一键实时同步至MaxCompute
步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 执行同步任务 同步任务运维 实时同步报警配置 Merge节点监控报警配置 创建同步任务 选择同步方案。创建同步解决方案任务，选择需要同步...
MySQL一键实时同步至MaxCompute
步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 执行同步任务 同步任务运维 实时同步报警配置 Merge节点监控报警配置 创建同步任务 选择同步方案。创建同步解决方案任务，选择需要同步...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
全量校验 在全量迁移完成、增量数据同步至目标端并与源端基本追平后，数据传输会自动发起一轮针对源端数据库配置的数据表和目标表的全量数据校验任务。如果选择 全量校验，建议您在全量校验开始前，收集 OceanBase 数据库 Oracle 租户的...
DataWorks节点合集
DataWorks的数据开发（DataStudio）模块为您提供多种类型的节点，包括用于数据同步的数据集成节点，用于数据清洗的引擎计算节点（例如，ODPS SQL、Hologres SQL、EMR Hive），以及可对引擎计算节点进行复杂逻辑处理的通用节点（例如，可...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
MongoDB数据源
MongoDB数据源为您提供读取和写入MongoDB双向通道的功能，本文为您介绍DataWorks的MongoDB数据同步的能力支持情况。支持的版本 仅支持4.x、5.x版本的MongoDB。使用限制 数据集成支持使用MongoDB数据库对应账号进行连接，如果您使用的是云...
从ECS上的自建Redis同步至Tair实例
支持的同步拓扑 一对一单向同步 一对多单向同步 级联单向同步 关于各类同步拓扑的介绍及注意事项，请参见 数据同步拓扑介绍。支持的同步命令 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
云数据库MongoDB版（分片集群架构）间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
- 产品推荐
- 这些文档可能帮助您