概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
使用数据传输迁移数据
迁移类型 描述 结构迁移 结构迁移任务开始后，数据传输会迁移源库中的数据对象定义（表、索引、约束、注释和视图等）至目标端数据库中，并自动过滤临时表。MySQL 数据库至 OceanBase 数据库 MySQL 租户的结构迁移支持自动创建目标端不存在...
同步 OceanBase 数据库的数据至 RocketMQ
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
同步 OceanBase 数据库的数据至 Kafka
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 Kafka。背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用...
OceanBase 数据库 MySQL 租户之间的数据同步
在 预检查 环节，数据传输会检测逻辑表 Schema 和物理表 Schema 是否一致。目前仅检查列名、列类型，以及是否为空，不检查长度和默认值。如果预检查报错：您可以在排查并处理问题后，重新执行预检查，直至预检查成功。您也可以单击错误预...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
在 预检查 环节，数据传输会检测和目标端的连接情况。如果预检查报错：您可以在排查并处理问题后，重新执行预检查，直至预检查成功。您也可以单击错误预检查项操作列中的 跳过，会弹出对话框提示您跳过本操作的具体影响，确认可以跳过后，...
多表归并任务中执行Online DDL操作导致目标库数据丢失
问题描述 在通过DTS进行多表归并任务时，若在源库进行Online DDL操作，对源库的表结构等进行了调整修改，则同步到目标库时，会出现数据丢失的情况。说明 多表归并任务指将不同源库的表进行归并，继而同步或迁移到目标库。例如：当用户配置...
结束和释放数据迁移项目
释放数据迁移项目 释放数据迁移项目后，数据传输会清空当前项目的配置信息，并自动删除该项目，请谨慎操作。重要 数据传输支持释放处于 未配置、未启动 和 已结束 状态的数据迁移项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据...
启动和暂停数据同步项目
暂停数据同步项目后，数据传输会中止数据同步项目的调度，此时延迟会实时增长。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，单击运行中的目标项目后的 暂停。您也可以在 同步项目列表 页面，...
启动和暂停数据迁移项目
暂停数据迁移项目后，数据传输会中止编排任务列表中正在运行状态的子任务，并自动终止其后面所有子任务的调度。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。在 数据迁移 页面，单击运行中的目标项目后的 暂停。您也...
列过滤
本文为您介绍如何使用数据传输提供的列过滤功能。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后，在 选择同步范围 区域右侧的 目标端对象 列表中，鼠标悬停至目标...
创建迁移任务时报获取迁移结构失败
问题原因 一般是由于数据传输服务连接不上源Oracle数据库。解决方案 当遇到此问题时，需要在安装Oracle的服务器上执行 netstat-ano 命令，查看Oracle数据库的端口是否配置了内外网IP监听。如果没有配置，那么需要修改Oracle的监听服务，...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
转换后可以确保源端不同字符集中的数据能成功迁移至目标端，但割接后反向增量可能会出现数据超长无法写回源端的问题。如果源端存在包含时区信息的数据类型（例如 TIMESTAMP WITH TIME ZONE），请您确保目标端数据库支持并存在源端对应的...
项目管理（新版）
不管 开启成默认数据传输服务资源组 取值是什么，该项目默认提交的数据传输服务会自动使用Default资源组。数据传输服务（包年包月）资源组：该项目允许使用数据传输服务（包年包月）资源组。开启成默认数据传输服务资源组 的值为开启时，该...
SDK正常下载数据过程中突然暂停且不能订阅到数据
问题描述 通过SDK正常下载数据...解决方案 SDK内部设置了8192个Record的缓存空间，如果不调用ackAsConsumed汇报位点，那么这缓存空间数据就不会删除，当缓存满时，就不能拉取新的数据，就会出现SDK暂停不能订阅数据。适用于 数据传输服务DTS
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时...
什么是DTS Serverless实例
DTS Serverless实例是数据传输服务DTS（Data Transmission Service）提供的资源规格可以弹性变化的实例。Serverless实例可以适应不断变化的业务需求，使实例资源能够随业务规模的变化自动调整，从而避免资源浪费和控制运维成本。背景信息 ...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能会产生隐式的转换问题，导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度...
数据传输规格说明
本文为您介绍 OceanBase 数据传输服务的规格说明及性能测试情况。注意事项 本文的规格说明参考的是测试数据，仅供您在选择规格时进行参考，不作为产品 SLA（服务等级协议）的评判依据。不同的实例规格对应了增量同步的不同 RPS 性能表现，...
迁移 OceanBase 数据库 Oracle 租户的增量数据至 ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
配置同步任务
系统数据同步的传输速率会尽可能地达到速度上限，但是不会超过速度上限。速度上限会影响整个调度的资源情况，速度上限设置的越高，运行任务的调度资源量会越大。并发数 启动并发抽取数据的任务的并发数。出错限制 指数据同步过程中，出错的...
如何解决全量迁移慢或迁移卡住
问题现象 DTS在全量数据同步或迁移阶段时，可能会出现耗时很久的现象，或者出现任务卡住的迹象。可能原因 源库待同步或迁移的数据量大或无主键。源库创建了多个DTS任务。源或目标库连接异常。例如，数据库设置了白名单、账号权限不足、账号...
评估迁移时间与测试传输速度
部分场景中出现的问题原因及处理方式如下所示：数据传输速度小于实际测出的速度时，可能原因及处理方式如下表所示。可能原因 处理方式 源服务器和中转实例处于不同地域或不同国家。跨地域、跨国际的网络传输相比同地域传输有时较慢。测试源...
OceanBase 数据库之间的数据迁移
本文为您介绍如何使用数据传输迁移 OceanBase 数据库的数据至 OceanBase 数据库同类型租户中。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将...
添加 OceanBase 数据源的白名单
IP 地址 在 数据传输>新建数据源 对话框中，复制显示的 OceanBase 数据传输服务器的 IP 地址，添加在此处即可。请注意以下规则：支持填写 IP 地址（例如 192.168.0.1）或 IP 段（例如 192.168.0.0/24）。多个 IP 需要用英文逗号（,）分隔。...
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
配置数据迁移任务
数据迁移任务可以帮助您快速地实现各种数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文以 RDS MySQL 迁移至 RDS MySQL 为例为您介绍配置数据迁移任务的流程。前提条件 已创建DTS专属...
购买与使用独享数据传输服务资源组
独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、使用独享数据传输服务资源组。背景信息 MaxCompute当前在各个地域均为您提供了免费的 公共数据传输服务资源组，为该...
数据同步链路规格说明
使用DTS可实现数据秒级同步到目标实例，但受限于源实例的运行负载、传输网络的带宽、网络延时、目标实例写入性能等多种因素的影响，DTS同步任务会出现延迟增大的情况，无法绝对保证秒级延迟。名词解释 规格：数据传输服务为用户提供了不同...
通过外表导入至数仓版
使用独享数据传输服务资源组，为项目配置后，该资源仅供当前项目使用，减少数据访问和导入时间，提供更高的数据传输速度。示例数据 本文示例中的MaxCompute项目为 odps_project1，示例表 odps_nopart_import_test。示例如下：CREATE TABLE ...
数据传输服务概述
常见问题 数据传输服务变慢一般由什么原因导致？受服务构架限制，MaxCompute Tunnel服务在以下几种场景中会出现偶发的请求延迟问题（单次上传、下载10MB数据耗时从秒级增长到分钟级）。共享Tunnel服务资源用满（CPU/网络带宽）持续时间：几...
升级实例配置
升级生效期间增量数据迁移与数据同步会出现5秒左右的延迟，请在业务低峰期操作。费用说明 包年包月实例 升级费用=（升级后实例每天的价格-升级前实例每天的价格）×升级当天到服务到期日的剩余天数。说明 升级后实例每天的价格根据升级当天...
自动故障转移和读写分离
表示允许连接到任意数据库，会从所有配置的数据库中随机选择一个尝试连接，如果连接的数据库出现故障导致连接断开，会尝试连接其他数据库，从而实现故障转移。read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果...
RDS MySQL实例变配时长受哪些因素影响？
存储类型 是否涉及跨机迁移 影响因素 补充说明 本地盘存储 是 全量数据大小 全量数据的大小会影响数据迁移的时长，同时迁移的速度受备份速度、网络带宽的影响。Redo Log大小 当Redo Log较大时，会导致实际备份数据量超出预估。此情况下，...
RDS MySQL实例变配时长受哪些因素影响？
存储类型 是否涉及跨机迁移 影响因素 补充说明 本地盘存储 是 全量数据大小 全量数据的大小会影响数据迁移的时长，同时迁移的速度受备份速度、网络带宽的影响。Redo Log大小 当Redo Log较大时，会导致实际备份数据量超出预估。此情况下，...
数据传输系统权限策略参考
本文描述数据传输支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
同步Redis后出现数据不一致
问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象。问题示例 使用数据传输服务（DTS）同步完Redis后，使用Redis的 info keyspace 命令查看源端和目标端的keys情况，出现源端和目标端数据不一致，且含过期...
- 产品推荐
- 这些文档可能帮助您