Kafka增量数据同步至MaxCompute
推荐勾选 出错后自动重跑，重跑次数设置3，重跑间隔设置2，让同步实例出现异常的话能够自动重跑实现自愈。配置调度资源组。按照需要选择调度资源组，推荐使用独享调度资源组。配置调度依赖。本实践同步任务无需在特定其他任务运行成功后才...
Kafka增量数据同步至MaxCompute
推荐勾选 出错后自动重跑，重跑次数设置3，重跑间隔设置2，让同步实例出现异常的话能够自动重跑实现自愈。配置调度资源组。按照需要选择调度资源组，推荐使用独享调度资源组。配置调度依赖。本实践同步任务无需在特定其他任务运行成功后才...
修改持久内存型实例的同步模式
当备实例不可用或者主备实例间出现网络异常时，半同步会退化为异步。异步（默认）：使用Redis原生异步复制。退化阈值 仅 半同步 支持配置该参数，单位为ms，取值范围为10~60000，默认为500。当同步延迟超出该阈值时，同步模式 会自动转为 ...
修改持久内存型实例的同步模式
当备实例不可用或者主备实例间出现网络异常时，半同步会退化为异步。异步（默认）：使用Redis原生异步复制。退化阈值 仅 半同步 支持配置该参数，单位为ms，取值范围为10~60000，默认为500。当同步延迟超出该阈值时，同步模式 会自动转为 ...
RDS PostgreSQL间的双向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。操作步骤 购买双向数据同步实例，请参见 购买...
云数据库MongoDB版（副本集架构）
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
云数据库MongoDB版（副本集架构）同步至函数计算FC
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
数据集成概述
脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
基于TairString实现高性能分布式锁
} 如何保障一致性 Redis的主从同步（replication）是异步进行的，如果向master发送请求修改了数据后master突然出现异常，发生高可用切换，缓冲区的数据可能无法同步到新的master（原replica）上，导致数据不一致。如果丢失的数据跟分布式锁...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
实时同步常见问题
当您在查询实时同步任务产出的表数据，发现数据未同步时，原因可能是实时同步任务出现延迟，您可以进入运维中心的 实时同步任务 界面，查看任务的 业务延迟 数值是否过大。详情请参见 实时同步任务延迟解决方案。若业务延迟较大，其可能...
HybridDB for MySQL数据源
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
MariaDB数据源
如果该值设置过大，会导致数据同步运行进程OOM异常。否 256 updateColumn 当 writeMode 配置成 update 时，发生遇到主键/唯一性索引冲突时所更新的字段。字段之间用英文逗号所分隔，例如"updateColumn":["name","age"]。否 无
MySQL数据源
MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？如何处理编码格式设置/乱码问题导致的脏数据报错？如何排查离线同步任务运行时间长的问题？写入/读取MySQL...
异常处理
ClientError ClientError指SDK内部出现的异常，例如参数设置错误、断点续传上传或断点续传下载过程中出现的文件被修改的错误。RequestError 当网络出现中断或者异常时，Node.js SDK会抛出RequestError。出现此错误时，请检查网络连通性并...
PolarDB PostgreSQL版同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能...
PolarDB PostgreSQL版间的同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能...
PolarDB PostgreSQL版同步至云原生数据仓库AnalyticDB...
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 账号创建及授权方法 PolarDB PostgreSQL版 待同步对象的读写权限 说明 若需要同步DDL，则需为高权限账号。创建数据库账号 ...
RDS PostgreSQL间的单向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 登录 新版DTS同步任务的列表页面。说明 您也可以登录 DMS数据管理服务。在顶部菜单栏中，选择 集成与开发（DTS），在左侧导航栏选择 数据传输（DTS）>数据同步...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构...
RDS PostgreSQL同步至PolarDB PostgreSQL版
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。操作步骤 进入同步任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中，单击 集成与开发（DTS）。在左侧导航栏，选择 数据传输（DTS）>数据同步。说明 实际操作可能...
RDS PostgreSQL间的双向同步
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。重要 仅正向任务（即源库同步至目标库）支持同步DDL，反向任务（即目标库同步至源库）不支持同步DDL，将自动过滤DDL操作。操作步骤 购买双向数据同步实例，请参见 购买...
CLB健康检查FAQ
重要 如果关闭健康检查，当后端某个服务器健康检查出现异常时，负载均衡还是会把请求转发到该异常的ECS实例上，造成部分业务不可访问。如果您的业务对负载敏感性高，高频率的健康检查探测可能会对正常业务访问造成影响。您可以结合业务情况...
PolarDB PostgreSQL版间的迁移
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。配置步骤 登录 新版DTS同步任务的列表页面。在页面左上角，选择同步实例所属地域。单击 创建任务，配置源库及目标库信息。说明 数据库类型都选择 PolarDB for ...
自建PostgreSQL同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS ...
一键实时同步至Kafka
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
自建PostgreSQL同步至RDS PostgreSQL
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 创建账号及授权方式 自建PostgreSQL数据库 superuser CREATE USER 和 GRANT 语法。RDS PostgreSQL 实例 schema的owner权限 RDS ...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
自建PostgreSQL同步至PolarDB PostgreSQL版（兼容...
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。数据库账号的权限要求 数据库 所需权限 账号创建及授权方式 自建PostgreSQL superuser权限。CREATE USER 和 用户权限管理。PolarDB PostgreSQL版（兼容Oracle）具备 ...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
配置并管理实时同步任务
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
概览
实例消息堆积量 消息堆积量 Topic消息堆积量 高于上边界 连接数过高、连接数波动较大或连接数持续峰值 系统负载过高、TCP连接池不足、应用程序或服务出现异常、某些应用程序或服务在某些时候进行了大量的TCP连接操作。实例公网TCP连接的...
数据库实时入仓快速入门
Source出现finish split response timeout异常，是什么原因？在MySQL CDC全量阶段发生表结构变更有什么影响？如果CTAS/CDAS同步期间发生了不支持的表结构变更，导致作业报错同步失败，该怎么解决？相关文档 CREATE TABLE AS(CTAS)语法功能...
配置数据层
当某个单元出现异常或者不可用的情况时，可通过异地多活的切流组件迅速将“问题”单元承担的流量切换至其他正常单元，保证业务的可持续性和稳定性。前提条件 配置MySQL数据层的前提条件：在两个单元环境中分别已创建一个或多个同名MySQL。...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB ...
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
- 产品推荐
- 这些文档可能帮助您