离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
通过image-syncer工具迁移容器镜像
除了使用重传机制规避同步过程中可能出现的偶发问题之外，image-syncer会在运行结束时统计最后同步失败的镜像个数，并且打印出详细的日志，帮助使用者定位同步过程中出现的问题。准备工作 使用image-syncer时，您只需要提供一个配置文件，...
通过image-syncer工具迁移容器镜像
除了使用重传机制规避同步过程中可能出现的偶发问题之外，image-syncer会在运行结束时统计最后同步失败的镜像个数，并且打印出详细的日志，帮助使用者定位同步过程中出现的问题。准备工作 使用image-syncer时，您只需要提供一个配置文件，...
DTS任务中配置ETL典型应用
但是仍然会出现不可避免的数据不兼容，比如MySQL同步到Oracle，源实例 varchar(10)NOT NULL 列的空字符串无法写入目标实例的非空列，因为Oracle会将空字符串等同于NULL。将会导致同步中断。此类问题不能简单地跳过数据，因为会造成数据不...
RDS MySQL只读实例同步延迟原因与处理
问题描述 由于阿里云云数据库RDS只读实例采用MySQL原生的基于日志复制技术（异步复制或半异步复制），必然会有同步延迟。延迟会导致只读实例与主实例的数据出现不一致，从而导致业务出现问题。另外，延迟也有可能引起日志堆积，导致只读...
同步时源库为Db2 for LUW的注意事项及限制
如果同步的源库为 Db2 for LUW，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等...
一键实时同步至DataHub
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
创建同步ElasticSearch
开始同步任务之前请保证 已经在ES中创建index或者允许自动创建index，否则同步任务会失败。2.准备同步任务账号并授权 新建同步ES任务时，需要用户手动填写ES的endpoint、index和账号密码等信息。请确保所填入信息账号信息真实有效，否则会...
数据推送
POST的URL及body部分最好都要做url_encode，否则会出现解析及签名问题。数据源或者API推送增量时请注意，主键值重复的doc会被覆盖。使用RDS自动同步数据有TPS及大小限制，具体值请参考系统限制项：RDS单库内所有表的更新会产生一份binlog...
一键实时同步至Elasticsearch
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
概述
人脸同步异常处理 如果出现云端和设备端的人脸底库不一致时，可通过调用 ClearFaceDeviceDB，清空边缘一体机的所有人脸底库，触发人脸数据的重新同步。重要 重新同步人脸数据时，受网络等环境因素，会耗时较久，因此请不要频繁调用 ...
一键实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
同步Redis后出现数据不一致
如下图：可能原因 单靠 info keyspace 的 expires 来判断数据是否一致会出现偏差。其统计信息的统计值不是精确值，有一定的误差。info keyspace 的输出结果中：keys 表示所有keys的数据量。expires 表示带有过期keys的数据量，包含未过期和...
同步时源库为Redis的注意事项及限制
源库为Redis的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：Redis间的双向同步 Redis间的单向同步 Redis间的双向同步 类型 说明 源库限制 为保障同步质量，DTS会在源库中插入一个前缀为DTS_REDIS_TIMESTAMP_HEARTBEAT的...
同步日志
在当前版本中，不同同步方式下，同步日志的记录情况如下：入方向 出方向 记录同步日志 从身份提供方同步 由 IDaaS 推送给应用 由 IDaaS 推送给身份提供方（暂不支持）不记录同步日志，但会记录为管理或用户日志 OpenAPI Developer API（暂...
DataStudio侧实时同步任务配置
避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。步骤三：配置实时同步任务 配置单表...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
边缘应用告警规则对接
云端和边缘端数据同步API 地产平台通过封装LP云边同步能力，对外开放如下API：0、获取边缘集群列表1、数据同步预检查2、触发数据同步3、数据同步结果查询 3.1 接口定义 分页参数会出现在请求参数和返回结果中，用于下文中API调用参照。...
实时同步常见问题
本文为您介绍实时同步的相关问题。文档概述 问题分类 相关文档 实时同步任务配置须知 实时同步任务支持哪些数据源？为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时...
配置同步任务（新控制台）
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
步骤七：故障切换
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
步骤七：故障切换
故障切换类型 数据同步后切换 该故障切换会先停止保护组中被保护的实例，并且等到所有被保护的实例停止后再进行最后一轮数据同步，等待数据同步完成后再启动切换。这样可以保证容灾端与生产端数据完全一致，无数据丢失。该切换模式适用于...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
使用Outlook插件进行邮箱通讯录及日历的双向同步
如果安装了vsto4.0之后，仍然会出现提示vsto4.0没有安装。可能是当前机器中的.net framework4.0是阉割版本，需要下载.net framework4.5，安装完毕后再安装vsto4.0即可；net 4.5官方下载地址。4、无法同步 同步策略是当Outlook进入后台之后...
一键MaxCompute任务出错恢复
常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景及全增量同步任务 Merge任务的报错失败 Binlog无丢失 出现不支持的...
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
PolarDB MySQL版间的单向同步
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。建议源和目标 PolarDB MySQL版 集群的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。费用说明 同步类型 链路配置费用 库表结构同步和...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
MySQL分库分表同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
【邀测】同步备份
本文介绍同步备份功能，同步备份是一项方便、高效的云存储功能，支持 云与本地数据双向实时同步，实现多终端设备数据保持最终一致。功能特点 云-端数据双向同步：在本地存储和编辑的最新文件/文件夹实时同步至云端，云端已上传及更新的文件...
MySQL数据源
实时同步MySQL数据报错 实时同步MySQL数据源时速度为什么会变慢？MySQL分库分表如何将分表同步到一张MaxCompute中 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？如何处理编码格式设置/乱码问题导致的脏...
动态修改schema
切换提醒 如果在灰度索引的同步进度落后于源索引时将流量切到灰度索引，则可能会出现查询数据回退。此时表格存储会通过源索引和灰度索引的同步状态和最后同步时间，判断“是否可以安全切换”。当出现如下情况时，表格存储会判断为 可安全...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
全球多活使用限制
若各子实例的规格不一致，可能会出现性能或容量问题。一个分布式实例中最多可包含三个子实例，且各子实例不能位于同一可用区。第一个子实例支持从已创建的实例进行转换，第二、第三个子实例需新购。一个分布式实例中的子实例必须都在中国...
- 产品推荐
- 这些文档可能帮助您