概述
当源库不断有业务写入时，数据传输会在全量数据迁移启动前，启动增量拉取模块，以拉取源实例中的增量更新数据，对其进行解析、封装，并存储至数据传输中。当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取...
使用数据传输迁移数据
迁移类型 描述 结构迁移 结构迁移任务开始后，数据传输会迁移源库中的数据对象定义（表、索引、约束、注释和视图等）至目标端数据库中，并自动过滤临时表。MySQL 数据库至 OceanBase 数据库 MySQL 租户的结构迁移支持自动创建目标端不存在...
同步 OceanBase 数据库的数据至 RocketMQ
在 预检查 环节，数据传输会检测和目标端的连接情况。如果预检查报错：您可以在排查并处理问题后，重新执行预检查，直至预检查成功。您也可以单击错误预检查项操作列中的 跳过，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，...
同步 OceanBase 数据库的数据至 Kafka
在 预检查 环节，数据传输会检测和目标端 Kafka 实例的连接情况。如果预检查报错：您可以在排查并处理问题后，重新执行预检查，直至预检查成功。您也可以单击错误预检查项操作列中的 跳过，会弹出对话框提示您跳过本操作的具体影响，确认...
OceanBase 数据库 MySQL 租户之间的数据同步
在 预检查 环节，数据传输会检测逻辑表 Schema 和物理表 Schema 是否一致。目前仅检查列名、列类型，以及是否为空，不检查长度和默认值。如果预检查报错：您可以在排查并处理问题后，重新执行预检查，直至预检查成功。您也可以单击错误预...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
在 预检查 环节，数据传输会检测和目标端的连接情况。如果预检查报错：您可以在排查并处理问题后，重新执行预检查，直至预检查成功。您也可以单击错误预检查项操作列中的 跳过，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，...
多表归并任务中执行Online DDL操作导致目标库数据丢失
问题描述 在通过DTS进行多表归并任务时，若在源库进行Online DDL操作，对源库的表结构等进行了调整修改，则同步到目标库时，会出现数据丢失的情况。说明 多表归并任务指将不同源库的表进行归并，继而同步或迁移到目标库。例如：当用户配置...
结束和释放数据迁移项目
释放数据迁移项目 释放数据迁移项目后，数据传输会清空当前项目的配置信息，并自动删除该项目，请谨慎操作。重要 数据传输支持释放处于 未配置、未启动 和 已结束 状态的数据迁移项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据...
启动和暂停数据同步项目
暂停数据同步项目后，数据传输会中止数据同步项目的调度，此时延迟会实时增长。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，单击运行中的目标项目后的 暂停。您也可以在 同步项目列表 页面，...
启动和暂停数据迁移项目
暂停数据迁移项目后，数据传输会中止编排任务列表中正在运行状态的子任务，并自动终止其后面所有子任务的调度。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击运行中的目标项目后的 暂停。您也...
列过滤
本文为您介绍如何使用数据传输提供的列过滤功能。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后，在 ...重要 全选或不勾选任何列，数据传输会同步全部列。单击 确定。
创建迁移任务时报获取迁移结构失败
问题原因 一般是由于数据传输服务连接不上源Oracle数据库。解决方案 当遇到此问题时，需要在安装Oracle的服务器上执行 netstat-ano 命令，查看Oracle数据库的端口是否配置了内外网IP监听。如果没有配置，那么需要修改Oracle的监听服务，...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
数据传输服务概述
常见问题 数据传输服务变慢一般由什么原因导致？受服务构架限制，MaxCompute Tunnel服务在以下几种场景中会出现偶发的请求延迟问题（单次上传、下载10MB数据耗时从秒级增长到分钟级）。共享Tunnel服务资源用满（CPU/网络带宽）持续时间：几...
什么是DTS Serverless实例
DTS Serverless实例是数据传输服务DTS（Data Transmission Service）提供的资源规格可以弹性变化的实例。Serverless实例可以适应不断变化的业务需求，使实例资源能够随业务规模的变化自动调整，从而避免资源浪费和控制运维成本。背景信息 ...
如何解决全量迁移慢或迁移卡住
问题现象 DTS在全量数据同步或迁移阶段时，可能会出现耗时很久的现象，或者出现任务卡住的迹象。可能原因 源库待同步或迁移的数据量大或无主键。源库创建了多个DTS任务。源或目标库连接异常。例如，数据库设置了白名单、账号权限不足、账号...
自动故障转移和读写分离
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
SDK正常下载数据过程中突然暂停且不能订阅到数据
问题描述 通过SDK正常下载数据...解决方案 SDK内部设置了8192个Record的缓存空间，如果不调用ackAsConsumed汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现SDK暂停不能订阅数据。适用于 数据传输服务DTS
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
转换后可以确保源端不同字符集中的数据能成功迁移至目标端，但割接后反向增量可能会出现数据超长无法写回源端的问题。如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的...
项目管理（新版）
不管 开启成默认数据传输服务资源组 取值是什么，该项目默认提交的数据传输服务会自动使用Default资源组。数据传输服务（包年包月）资源组：该项目允许使用数据传输服务（包年包月）资源组。开启成默认数据传输服务资源组 的值为开启时，该...
EMR Kafka磁盘故障运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘出现故障时，会导致磁盘IO能力下降、集群吞吐下降、消息读写延时或日志目录offline等问题。这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能...
数据上云工具
DTS（Tunnel通道系列）什么是数据传输服务DTS 是阿里云提供的一种支持RDBMS（关系型数据库）、NoSQL、OLAP等多种数据源之间数据交互的数据服务。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输功能。DTS可以支持RDS、MySQL...
数据传输计费说明
本文为您介绍云数据库 OceanBase 的数据传输服务的定价和计费说明。费用概述 云数据库 OceanBase 数据传输服务提供数据迁移和数据同步两种项目，不同项目的计费方式略有不同。数据迁移项目：目前仅支持后付费模式，即按量付费计费模式。...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
修改数据同步的附加列规则
背景信息 在修改数据同步的附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突。关于附加列名称及其定义请参见下表。重要 使用旧版附加列规则时，DTS也会给目标中的源库原有业字段加前缀（dts_）；使用新版附加列规则时...
升级单向同步至双向同步
升级生效期间数据同步会出现5秒左右的延迟，请在业务低峰期操作。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
使用DTS进行增量迁移时没有同步数据
问题描述 使用阿里云数据传输服务DTS的增量迁移功能时出现延迟，或者使用数据同步功能时很长时间没有同步数据。问题原因 增量迁移没有同步数据的原因如下：目标或者源端实例运行状态异常。源或者目标实例上进程被阻塞。源实例以及目标实例...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
MTU配置说明
在您使用IPsec-VPN时，IPsec协议会对数据包进行加密，加密过程会扩大数据包长度，扩大后的数据包长度可能会超过网络中设置的最大数据传输单元MTU（Maximum Transmission Unit），影响数据包的正常传输。本文介绍如何设置MTU以确保数据包的...
数据传输规格说明
本文为您介绍 OceanBase 数据传输服务的规格说明及性能测试情况。注意事项 本文的规格说明参考的是测试数据，仅供您在选择规格时进行参考，不作为产品 SLA（服务等级协议）的评判依据。不同的实例规格对应了增量同步的不同 RPS 性能表现，...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移时源库为DB2 for LUW的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
OceanBase 数据库之间的数据迁移
执行索引时，如果目标端 OceanBase 数据库 MySQL 租户遇到 Duplicate key name 报错，或 OceanBase 数据库 Oracle 租户遇到 name is already used by an existing object 报错，数据传输会进行忽略，默认为索引创建成功，不会再重复创建。...
购买与使用独享数据传输服务资源组
当您在MaxCompute中需要对大规模数据进行传输且对传输稳定性和延迟有要求时，您可以使用独享数据传输服务资源组。独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、...
迁移时源库为SQL Server的注意事项及限制
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
配置数据迁移任务
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
迁移时源库为MongoDB的注意事项及限制
如果迁移的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MongoDB的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及...
- 产品推荐
- 这些文档可能帮助您