单向同步升级至双向同步
升级生效期间数据同步会出现5秒左右的延迟，请在业务低峰期操作。DTS会在目标库中建立数据库 dts，以避免数据循环同步，您需要确保任务使用的目标端数据库账号具有数据库 dts 的读写权限。费用说明 包年包月实例 升级费用=（升级后实例每天...
升级单向同步至双向同步
升级生效期间数据同步会出现5秒左右的延迟，请在业务低峰期操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
现代IM系统中的消息系统—架构
写扩散同步模式的优点是，在接收端消息同步逻辑会非常简单，只需要从其同步Timeline中读取一次即可，大大降低了消息同步所需的读的压力。其缺点就是消息写入会被放大，特别是针对群这种场景。Timeline模型不会对选择读扩散还是写扩散做约束...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
使用时序Writer写入时序数据
表格存储支持通过时序Writer将时序数据写入时序表，时序Writer还支持多表写入、写入状态统计、行级别回调和自定义配置功能。本文介绍使用时序Writer写入时序数据的使用流程。背景信息 使用时序模型时，用户主要通过调用PutTimeseriesData...
为什么要升级到MongoDB的新版本
简要描述：在分片集群实例中，若未及时清理孤立文档，可能会导致在迁移数据时出现数据不一致的问题。推荐版本：4.4及以上版本。推荐理由：当一个Chunk成功迁移到新的分片后，源分片中的该Chunk会延期删除。孤立文档通常是因为迁移过程中断...
PolarDB PostgreSQL版同步至RDS PostgreSQL
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
PolarDB PostgreSQL版间的同步
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
PolarDB PostgreSQL版同步至云原生数据仓库AnalyticDB...
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
PolarDB PostgreSQL版间的迁移
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
时序模型
写入时序数据到时序表时，分析存储会自动同步时序表中的数据。时序数据写入时序表后，当需要查询时序表中某个时间线的时序数据时，您可以执行如下操作：如果不确定要查询时间线信息（例如度量名称、数据源信息）时，请使用 ...
时序模型
写入时序数据到时序表时，分析存储会自动同步时序表中的数据。时序数据写入时序表后，当需要查询时序表中某个时间线的时序数据时，您可以执行如下操作：如果不确定要查询时间线信息（例如度量名称、数据源信息）时，请使用 ...
一键实时同步至Kafka
当在 设置目标Topic 页面未勾选 支持源表无主键同步，则无主键的表同步时会出现异常，您需要在同步任务中删除无主键的表或者选择单击 图标自定义主键才能继续执行同步任务。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic...
云端运行日志
\t\r，输入内容会被拆分为多个词，从而导致查询日志失败，页面会出现报错提示：日志查询，查询参数异常。搜索条件 说明 DeviceName 输入设备名称。根据设备名称，搜索该设备的相关日志。TraceId 输入追踪ID，搜索串联模块日志。内容...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
RDS MySQL数据库触发器
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
MySQL分库分表同步至Hologres（方案1.0）
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
修改数据同步的附加列规则
背景信息 在修改数据同步的附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突。关于附加列名称及其定义请参见下表。重要 使用旧版附加列规则时，DTS也会给目标中的源库原有业字段加前缀（dts_）；使用新版附加列规则时...
polar_create_table_with_full_replica_identity
复制标识支持以下几种类型：主键 唯一索引 FULL（整行数据）复制标识默认为主键，如果一个没有主键的表进行逻辑复制，会出现变更操作报错的情况，从而影响业务的正常运行。报错信息如下所示：ERROR:cannot delete from table"polardb_test...
polar_create_table_with_full_replica_identity
复制标识支持以下几种类型：主键 唯一索引 FULL（整行数据）复制标识默认为主键，如果一个没有主键的表进行逻辑复制，会出现变更操作报错的情况，从而影响业务的正常运行。报错信息如下所示：ERROR:cannot delete from table"polardb_test...
导出全量数据到OSS
如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步时序表数据的任务配置 进行配置。同步数据表数据的任务配置 在 数据集成 节点下，双击打开新建的离线同步任务节点。配置同步网络链接。...
同步增量数据到OSS
如果所用的数据存储模型是时序模型（即使用时序表存储数据），则需要同步时序表中的数据，请按照 同步时序表数据的任务配置 进行配置。同步数据表数据的任务配置 在 数据集成 节点下，双击打开新建的离线同步任务节点。配置同步网络链接。...
时序引擎版本说明
修复并发更新Schema时会出现大量版本冲突的问题。修复Lindorm ML时序预测在预测条件为大于或小于某时间点时，拉取数据不足的问题。修复Lindorm ML时序异常检测ostl-ttest算法和ostl-esd在数据量较大时会报错的问题。优化Lindorm ML时序异常...
同步Redis后出现数据不一致
如下图：可能原因 单靠 info keyspace 的 expires 来判断数据是否一致会出现偏差。其统计信息的统计值不是精确值，有一定的误差。info keyspace 的输出结果中：keys 表示所有keys的数据量。expires 表示带有过期keys的数据量，包含未过期和...
通道服务概述
背景信息 表格存储适合元数据管理、时序数据监控、消息系统等服务应用，这些应用通常利用增量数据流或者先全量后增量的数据流来触发一些附加的操作逻辑，支持的附加操作如下：数据同步：将数据同步到缓存、搜索引擎或者数据仓库中。...
常见疑问点
rightLabels PromQL中涉及by/without计算时，结果不符合预期_labels_字段值中的LabelName未按照字母序排序时会出现该问题。您可以通过如下SQL语句确认_labels_字段值中的LabelName是否按照字母序排序。select*from(select_labels_,array_...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
一键克隆RDS MySQL至PolarDB MySQL版
对源库有如下限制：类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出...
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
通过脚本模式配置离线同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
RDS PostgreSQL同步至RDS MySQL
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
通过image-syncer工具迁移容器镜像
除了使用重传机制规避同步过程中可能出现的偶发问题之外，image-syncer会在运行结束时统计最后同步失败的镜像个数，并且打印出详细的日志，帮助使用者定位同步过程中出现的问题。准备工作 使用image-syncer时，您只需要提供一个配置文件，...
通过image-syncer工具迁移容器镜像
除了使用重传机制规避同步过程中可能出现的偶发问题之外，image-syncer会在运行结束时统计最后同步失败的镜像个数，并且打印出详细的日志，帮助使用者定位同步过程中出现的问题。准备工作 使用image-syncer时，您只需要提供一个配置文件，...
RDS PostgreSQL同步至RDS MySQL
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
任务运行诊断
任务实际执行时，除了受数据开发（DataStudio）中定义的定时调度时间影响外，还受多方因素影响。例如，上游任务的定时时间、上游任务实际执行完成时间、...说明 仅当任务配置了监控报警时，才会出现该诊断信息。详情请参见 任务报警信息诊断。
RDS PostgreSQL间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
- 产品推荐
- 这些文档可能帮助您