主备方案介绍
Q：目标实例出现异常无法写入时，LTS是否会缓存数据？A：LTS不会缓存数据，数据同步中当目标实例无法写入时，会记录读取WAL的点位，保证数据在目标实例恢复后继续同步数据，数据存储在源集群的Hlog中。Q：数据D1写入主实例，但数据D1尚未...
通过脚本模式配置离线同步任务
开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：转脚本模式并导入模板 步骤四：编辑脚本，配置同步任务 步骤五：配置调度属性 步骤六：提交并发布任务 步骤一：新建离线同步节点 创建业务流程。详情请参见：创建业务...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
实时同步常见问题
读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议您打通网络后通过内网同步数据。说明 公网同步存在以下风险：网络可能不稳定，丢包等时常发生，影响同步性能，安全性不高。若源端和目标端数据...
产品高可用
开启健康检查功能后，当后端某个ECS实例健康检查出现异常时，负载均衡会自动将新的请求分发到其他健康检查正常的ECS实例上，而当该ECS实例恢复正常运行时，负载均衡会将其自动恢复到负载均衡服务中。关于健康检查的详细机制，请参见 健康...
全增量数据同步
任务异常阻塞 注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，推荐修改一下源集群的日志保留时间，给增量同步出错预留一些处理的时间（hbase-site.xml 的 hbase.master.logcleaner.ttl 调...
Windows实例网络访问丢包延时高的排查方法
如前文链路测试结果示例图所示，从第5跳路由的网络之后的后续节点延迟明显陡增，则推断是第5跳路由的网络节点出现了网络异常。注：高延迟并不一定完全意味着相应节点存在异常，延迟大也有可能是在数据回包链路中引发的，建议结合反向链路...
Hadoop DistCp介绍
开源DistCp会把要复制的Path列表存储在客户端内存，如果文件量超过一定阈值或者文件名较长，例如文件量达到一百万条，会出现Out of Memory异常，此时可通过以下命令在客户端设置更多内存。export HADOOP_CLIENT_OPTS="-Xmx1024m"hadoop ...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
GBase8a数据源
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 ...如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
DNS解析异常问题排查
业务Pod无法连通CoreDNS容器副本 容器网络异常或安全组没有放开ICMP。检查安全组是否放开ICMP，若已放开请 提交工单 排查。业务Pod无法通过CoreDNS容器副本解析 机器负载高、安全组没有放开UDP协议53端口等。检查安全组是否放开UDP 53端口...
DNS解析异常问题排查
业务Pod无法连通CoreDNS容器副本 容器网络异常或安全组没有放开ICMP。检查安全组是否放开ICMP，若已放开请 提交工单 排查。业务Pod无法通过CoreDNS容器副本解析 机器负载高、安全组没有放开UDP协议53端口等。检查安全组是否放开UDP 53端口...
通过MySQL分析实例同步至数仓版
说明 DTS同步链路规格默认为small模式，若出现同步延时可能需要 升级实例配置。创建MySQL分析实例 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在 基本信息 页面的 实例分布 区域，单击 分析实例 后的 AnalyticDB MySQL分析...
通过向导模式配置离线同步任务
开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：配置数据来源与去向 步骤四：配置字段映射关系 步骤五：配置通道 步骤六：配置调度属性 步骤七：提交并发布任务 步骤一：新建离线同步节点 创建业务流程。详情请参见...
云数据库MongoDB版（副本集架构）
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
云数据库MongoDB版（副本集架构）同步至函数计算FC
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
将Oracle数据同步到表格存储
当复制任务出现异常时，请注意磁盘清理。关联键更新 是否进行关键键更新。默认已开启，表示会进行关联键更新。关闭 关联键更新 开关可以提升性能，但是关联键的更新会被忽略。开启同步LOB类型(BLOB,CLOB,NCLOB)是否开启同步LOB类型。默认已...
MySQL一键实时同步至MaxCompute
为避免上述阶段出现异常导致数据未产出，我们需要分别为实时同步子任务及Merge节点进行监控。实时同步报警配置。进入实时任务运维页面。找到已创建的实时同步任务，单击操作列的 报警设置，进入报警设置页面。在报警设置页面，选择 报警...
MySQL一键实时同步至MaxCompute
为避免上述阶段出现异常导致数据未产出，我们需要分别为实时同步子任务及Merge节点进行监控。实时同步报警配置。进入实时任务运维页面。找到已创建的实时同步任务，单击操作列的 报警设置，进入报警设置页面。在报警设置页面，选择 报警...
Linux实例网站访问丢包延时高的排查方法
如前文链路测试结果示例图所示，从第5跳路由的网络之后的后续节点延迟明显陡增，则推断是第5跳路由的网络节点出现了网络异常。说明：高延迟并不一定完全意味着相应节点存在异常，延迟大也有可能是在数据回包链路中引发的，建议结合反向链路...
数据库实时入仓快速入门
Source出现finish split response timeout异常，是什么原因？在MySQL CDC全量阶段发生表结构变更有什么影响？如果CTAS/CDAS同步期间发生了不支持的表结构变更，导致作业报错同步失败，该怎么解决？相关文档 CREATE TABLE AS(CTAS)语法功能...
访问ECS实例异常时的问题排查和指引
如果排查分析安全组和操作系统内安全软件配置后，均未见明显异常，则请参见 网络异常时抓包操作说明，在出现异常时，从客户端和服务端同时并发抓包，然后 提交工单 联系阿里云技术支持，提交抓包结果。只有源服务器访问目标服务器存在异常...
如何解决增量迁移延迟或同步延迟
原因5：当DTS无法连接数据库或由于其他报错导致DTS写入数据至目标库发生异常时，DTS会进行多次重试，从而表现出同步延迟。此时您可以在控制台上查看任务是否处于 重试中 状态，并单击 查看原因并修复，查看重试原因并进行相应修复。比如，...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
Kafka单表实时入湖OSS（HUDI）
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置资源组与网络连通。说明 OSS数据源在下一步新增OSS数据源时，指定Endpoint地址，即可实现OSS数据源与独享...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
数据传输服务DTS（Data Transmission Service）支持将RDS MySQL数据同步至 AnalyticDB PostgreSQL版Serverless模式。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。前提条件 已创建源 RDS MySQL 实例，创建方式...
一键实时同步至MaxCompute
详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 数据来源 区域，确认需要同步的源端数据源相关信息。在 选择同步的源表 区域，选中需要同步的 源表，单击 ...
一键实时同步至MaxCompute
详情请参见：配置同步网络链接。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 数据来源 区域，确认需要同步的源端数据源相关信息。在 选择同步的源表 区域，选中需要同步的 源表，单击 ...
PolarDB-X 1.0同步至阿里云消息队列Kafka
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
HBase数据同步与迁移
如果您想要将自建HBase或阿里云HBase中的数据迁移或同步至Lindorm 宽表引擎，可以通过LTS服务完成存量数据迁移和实时数据同步。本文介绍HBase数据同步与迁移的使用场景、功能列表、迁移优势、使用限制以及迁移任务等操作。使用场景 自建...
管理时间同步服务
为避免在ECS实例上运行业务时出现数据不一致、安全漏洞及业务流程故障等问题，阿里云提供了时间同步服务以确保实例的时间准确。时间同步服务简介 时间同步服务用于与NTP服务器同步时间以确保ECS实例时间准确，它是基于网络时间协议...
异地应用双活切流
场景四：故障>数据库故障 说明 部分数据库出现异常，将发生故障的主数据库切换到另一单元（地域）。a.选中想要切换的数据库，在展示框里，同一行代表同一数据库的主备。b.单击 下一步，进入 容灾切换预览，在预览页，可以看到数据库前后主...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka实时ETL同步至Hologres任务。使用...
初始化
ClientException异常是指本地遇到的异常，如网络异常参数非法等。ServiceException异常是指OSS返回的服务异常，如鉴权失败、服务器错误等。异步调用 异步接口需要在请求时传入回调函数，请求的执行结果将在回调中处理。异步请求遇到异常时...
Oracle数据源
由于主备数据同步存在一定的时间差，在网络延迟等特定情况下，会导致备库同步恢复的数据与主库有较大差别，从备库同步的数据不是一份当前时间的完整镜像。一致性约束 Oracle在数据存储划分中属于RDBMS系统，对外可以提供强一致性数据查询...
概述
DataHub数据同步仅支持at least once语义，在网络服务异常等小概率场景下可能会导致目标端的数据产生少量重复，用户使用时请注意进行去重处理。用户在创建数据同步时，DataHub会自动为该同步任务绑定SubscriptionId用于记录从DataHub读取...
PolarDB-X 1.0间同步
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
PolarDB-X 1.0同步至PolarDB MySQL版
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
PolarDB-X 1.0同步至PolarDB-X 2.0
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
- 产品推荐
- 这些文档可能帮助您