同步方案概览
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
离线同步并发和限流之间的关系
问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很慢，为什么我的独享资源组经常等待资源？并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。为了提高数据同步的效率，可以适当...
Quick BI组合图中双Y轴刻度同步功能为什么同步垂直...
概述 Quick BI组合图中双Y轴刻度同步功能为什么同步垂直左轴的刻度，而不是同步垂直右轴的刻度。详细信息 当两个度量字段刻度差别较大时，大的刻度包含小的刻度，双Y轴刻度同步功能则会将小的刻度同步为大的刻度，以便展示数据。与垂直左轴...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
计费常见问题
本文汇总了数据传输服务DTS（Data Transmission Service）计费的常见问题。常见问题 Q：按量付费的计费方式下，...A：数据同步具备更多的高级特性，例如在线调整同步对象和MySQL双向同步，且数据同步基于内网传输，可以保证更低的网络延时。
Kafka数据源
常见问题 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少，但是任务出现长时间不读取数据也不结束，一直运行中的现象是为什么？附录：脚本Demo与参数说明 附录：...
入仓解决方案
源为自建MySQL或RDS MySQL的同步方案 源为PolarDB MySQL版的同步方案 源为PolarDB PostgreSQL版（兼容Oracle）的同步方案 源为PolarDB PostgreSQL版的同步方案 源为PolarDB-X的同步方案 源为Oracle的同步方案 源为自建PostgreSQL或RDS ...
什么是数据传输服务DTS
DTS视频简介 为什么选择DTS 相对于传统数据迁移或同步工具，DTS为您提供功能更丰富、传输性能更强、易用性更高且安全可靠的服务，帮助您简化复杂的数据交互工作，专注于上层的业务开发。DTS有如下多种优势：DTS的更多特点，请参见 产品优势...
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
CREATE DATABASE AS（CDAS）语句
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CREATE DATABASE AS（CDAS）的使用方法，并提供了多种使用场景下的示例。背景信息 CDAS是 CTAS 语法的一个语法糖，用于实现整库同步、多表同步的功能。...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
注册中心同步
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体操作，请参见 ...
注册中心同步配置
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体操作，请参见 ...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
当您在使用PolarDB MySQL遇到查询慢的问题时，可以通过数据传输服务DTS（Data Transmission Service），将企业线上的PolarDB MySQL中的生产数据实时同步到阿里云Elasticsearch中进行搜索分析。本文介绍具体的实现方法。背景信息 本案例需要...
注册中心同步集群
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 步骤二：配置注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体...
数据迁移与同步FAQ
什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis...
门禁物模型
二维码同步[S]同步权限 syncPermissions[E]通行事件 passEvent[E]报警事件 alarmEvent 用权限文件下发的同步门禁 加密二维码[P]RSA公钥（加密二维码）RSAPublicKey 在二维码同步门禁基础上，增加加密功能 人脸 1.0[S]同步人脸库图片 ...
离线同步常见问题
文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...
导入与导出
解决方法：非整库同步：建议重新同步这张表（即先从同步对象中去掉，然后删除目标库的表，再把这张表加入到同步对象中），DTS会重新进行包括schema拉取的全量同步，这样会跳过此类型的DDL。整库同步：在AnalyticDB MySQL中新建一张表，表名...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
更改 Topic
适用场景 创建数据库至消息队列的数据同步项目时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
数据同步方案概览
适用场景 文档链接 MySQL间数据同步 MySQL实例间的双向同步 RDS MySQL实例间的单向同步 从ECS上的自建MySQL同步至RDS 从通过专线、VPN网关或智能接入网关接入的自建MySQL同步至RDS 不同阿里云账号下RDS实例间的数据同步 从RDS MySQL同步至...
实时数据同步
支持的同步链路 数据源端 数据目的端 支持的拓扑 备注 MySQL Zsearch（云搜）单向同步 已支持 OceanBase ODPS、DataHub 单向同步 已支持（仅专有云）ORACLE ODPS 单向同步 已支持（仅专有云）MySQL MySQL 单向同步 规划中 数据同步对象 ...
新建同步任务
本文为您介绍如何构建同步任务，将业务数据源的数据同步到Dataphin平台中的目标表。前提条件 已完成同步目标表的创建，详情请参见 新建同步目标表。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 页面，按照下图操作指引，...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
调转双向同步实例方向
数据传输服务DTS（Data Transmission Service）支持将双向同步实例的方向进行调转。在业务场景需要进行主备数据库切换或双云切换时，您可以轻松地调整已有双向同步实例的方向，而无需重新配置实例。背景信息 DTS为了保障双向同步实例的稳定...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
新建同步任务
本文为您介绍如何构建同步任务，将业务数据源的数据同步到Dataphin平台中的目标表。前提条件 已完成同步目标表的创建，详情请参见 新建同步目标表。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入...
数据同步链路规格说明
数据同步规格说明 数据同步根据同步链路的同步性能上限，定义了四种规格：micro、small、medium、large，当满足以下条件时，各个规格的同步性能上限才能达到下表中的性能上限。源实例的压力要大于等于各规格对应的性能上限。目标实例的写入...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
查看同步任务
DataHub DataConnector...ADS 实时 No 同步数据到指定的ADS表中 TableStore 实时 No 同步数据到指定的TableStore表中 查看同步任务 在创建完成同步任务后，切换到数据同步页签点击查看可以查看同步的详细信息，包括同步的点位、同步状态等信息
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
全增量同步任务运维
全量离线同步 和 实时同步 区域展示当前查看的全增量同步任务中，全量离线同步 或 实时同步 子任务同步的来源数据源、当前同步速率、同步数据、同步数据的延迟情况及所使用资源组的详细信息。执行步骤 区域展示当前查看的全增量同步任务，...
现代IM系统中的消息系统—架构
接收方会主动的向服务端拉取所有未同步消息，但接收方何时来同步以及会在哪些端来同步消息对服务端来说是未知的，所以要求服务端必须保存所有需要同步到接收方的消息，这是消息同步库的主要作用。对于新的同步设备，会有消息漫游的需求，这...
同步 API
同步 API 可将当前环境中的 API 同步至其他环境中。为保证系统稳定性，只同步目标环境不存在的 API 配置。同步后，会自动加载配置使其生效。操作步骤 登录 mPaaS 控制台，在左侧导航栏，点击 移动网关 菜单。在 API 管理 标签页中，点击 更...
极速同步
您可以使用极速同步功能，将OSS Bucket中的数据变化极速同步至所有通过文件网关连接至该Bucket的本地客户端。前提条件 已创建文件网关并添加缓存。具体操作，请参见 创建文件网关 及 添加缓存。已创建OSS Bucket。具体操作，请参见 创建...
- 产品推荐
- 这些文档可能帮助您