概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
同步节点
运行配置 运行配置用于设置同步节点的云计算资源类型和输入输出链路，关键参数说明如下：参数 说明 同步资源 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表...
同步节点
运行配置 运行配置用于设置同步节点的云计算资源类型和输入输出链路，关键参数说明如下：参数 说明 同步资源 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表...
查看数据迁移项目的详情
当源库不断有业务写入时，数据传输会在全量数据迁移启动前，启动增量拉取模块，以拉取源实例中的增量更新数据，对其进行解析、封装，并存储至数据传输中。当全量数据迁移完成后，数据传输会启动增量数据回放模块，从增量数据拉取模块中获取...
新建同步节点并运行后上线
参数 说明 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，。当选择星号（*）时，表示数据...
新建同步节点并运行后上线
参数 说明 源端配置 开发数据源 开发环境中传输链路输入端的云计算资源类型和资源。逻辑表 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的...
查看账单
本文介绍如何查看数据传输服务DTS（Data Transmission Service）的账单明细。操作步骤 登录 用户中心。在左侧导航栏，选择 账单管理...在 产品 中选择 数据传输服务。单击 搜索。说明 您也可以根据需求，按计费项、实例、账号等维度进行筛选。
创建全球数据库网络
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家不同地域的多个 PolarDB 集群组成的网络，网络中所有集群的数据均保持同步。当您的业务部署在多个地域时，利用GDN可以实现应用访问数据库的低延迟和高稳定性。本文...
数据传输费用（按时计费）
如果您已购买包年包月规格的独享数据传输服务资源组，并想要在...如果您希望在数据传输过程中实现资源独享，保障数据传输的稳定性，请参见 购买与使用独享数据传输服务资源组，包年包月的计费规则请参见 数据传输独享资源费用（包年包月）。
使用数据订阅功能传输数据后日期数据格式发生变化
概述 本文主要介绍MySQL中数据类型为Date的数据，通过数据订阅传输数据后，数据格式由 YYYY-MM-DD 格式变化为 YYYY:MM:DD 的原因。详细信息 DTS默认数据存储格式为 YYYY:MM:DD，YYYY-MM-DD 是展现出来的格式，实际存储是 YYYY:MM:DD 格式。...
调转双向同步实例方向
数据传输服务DTS（Data Transmission Service）支持将双向同步实例的方向进行调转。在业务场景需要进行主备数据库切换或双云切换时，您可以轻松地调整已有双向同步实例的方向，而无需重新配置实例。背景信息 DTS为了保障双向同步实例的稳定...
查看热点表信息
数据同步和迁移任务中数据频繁变更的表（热点表），可能会导致任务延迟超过1000毫秒。您可以通过控制台查看热点表信息，判断延迟是否由于热点表所导致，并根据实际情况开启热点合并功能以降低任务延迟。前提条件 已创建同步或迁移实例。若...
数据传输计费说明
费用概述 云数据库 OceanBase 数据传输服务提供数据迁移和数据同步两种项目，不同项目的计费方式略有不同。数据迁移项目：目前仅支持后付费模式，即按量付费计费模式。当前为限时免费阶段，具体收费时间另行通知。数据同步项目：目前仅支持...
将MySQL数据迁移到Redis
使用Redis的管道传输功能，您可以将RDS MySQL或本地MySQL的数据快速迁移到Redis中。使用其它引擎的RDS数据库也可以参照本文的方法将数据迁移到Redis中。场景介绍 在应用与数据库之间使用Redis作为缓存层，扩展传统关系型数据库的服务能力，...
调整迁移速率
数据传输服务DTS（Data Transmission Service）的同步和迁移实例在进行数据传输的过程中，您可以根据源和目标库的读写压力情况调整迁移的速率，以降低数据库的负载。注意事项 若您有修改同步对象的操作，则修改同步对象后生成的子任务，...
查看增量迁移链路状态和性能
功能 说明 增量迁移链路拓扑 增量迁移链路展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS：...
监控任务性能
功能 说明 增量同步链路拓扑 增量同步链路主要展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS...
查看同步链路状态和性能
功能 说明 增量同步链路拓扑 增量同步链路拓扑主要展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s...
应用场景
数据异地灾备 传输方式：数据同步 如果您的应用程序部署在单个地域中，可能会因为断电、网络中断等不可抗因素而导致服务中断。针对这种情况，您可以在另一个地域构建灾备中心，以提高服务可用性。DTS会在业务中心和灾备中心之间持续同步...
预检查阶段进行同名对象存在性提示检查失败
方法一：使用库表列映射 方法二：调整目标数据库中的同名对象 方法三：从迁移对象中移除同名对象 方法一：使用库表列映射 使用DTS提供的库表映射功能，将同名的待迁移对象映射为目标数据库中的其他对象名。登录 数据传输控制台，定位至目标...
创建Kafka数据源
重要 Flink_SQL任务中使用数据源编码方式进行开发，目前仅支持MySQL、Hologres、MaxCompute、Hadoop、Oracle、StarRocks数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128个字符。数据源配置 选择需要...
批量操作数据同步项目
批量修改告警配置 数据传输支持处于 未启动、运行中、修改中、合并中、已暂停 和 失败 状态的数据同步项目进行 批量修改告警配置 操作。在 同步项目列表 页面，选择需要批量修改告警配置的数据同步项目。单击页面下方的 更多批量操作>批量...
DTS任务在预检查阶段出现schema存在性检查问题
源数据库库中待迁移的库名或字符集不符合RDS规范 提供的目标数据库账号权限不足 解决方案 源数据库中待迁移的库名或字符集不符合RDS规范 源数据库中待迁移数据库的库名含有小写字母、数字、下划线、中划线以外的特殊字符。源数据库中待迁移...
创建Kafka数据源
重要 Flink_SQL任务中使用数据源编码方式进行开发，目前仅支持MySQL、Hologres、MaxCompute、Oracle、StarRocks数据源。数据源编码配置成功后不支持修改。数据源描述 对数据源的简单描述。不超过128个字符。数据源配置 选择需要配置的数据...
结束数据迁移任务
对于需要停止或迁移失败（不再需要）的任务，您可以结束数据迁移任务，避免源数据库的数据覆盖写入至目标数据库中。前提条件 数据迁移任务处于 迁移中、已暂停、迁移失败 状态。影响 结束数据迁移任务后，数据迁移任务将处于 已完成 状态，...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，本案例选择 华东1 区。单击 创建Project，输入 名称 和 描述，创建一个DataHub项目。本案例的...
数据库可用性检查失败
数据库可用性检查失败的详细检测结果如下：问题原因 目标数据库中待迁入的数据库没有创建，而DTS又不会自动创建，因此会导致数据库可用性检查失败。解决方案 在RDS控制台的数据库管理页面中，检查相应的源和目标对应的数据库对象是否创建。...
智能压测
说明 当源实例为阿里云数据库时，您可以选择以上四种方式中的其中一种，由于压测任务创建后，系统会自动购买和源库规格一致的按量付费实例，并将数据恢复到该实例，建议您选择 通过备份恢复。当源实例为自建数据库时，仅可选择 已完成数据...
启动和暂停数据同步项目
启动数据同步项目 创建数据同步项目时，如果在预检查完成后仅保存该数据同步项目，未进行启动，则需要在同步项目列表中手动启动数据同步项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，...
账单查询
CDT账单 支持查询公网流量免费额度账单明细，在 云数据传输-公网 明细账单中，单价为0或者实例ID中阶梯为0的流量即享受了公网流量免费额度，每月超过公网流量免费额度部分，按照CDT阶梯单价计费。账单流水 页签：可查看在阿里云上所有产品...
修复迁移失败的任务
当您的数据迁移任务在结构迁移阶段或全量数据迁移阶段，出现 迁移失败 的提示时，您可以使用DTS的在线修复功能手动修复该任务。修复结构迁移失败的任务 DTS支持异构数据源之间的迁移，对于一些不支持的数据类型，在进行结构迁移时，如果...
结束DTS实例
对于需要停止或已失败（不再需要）的实例，您可以结束实例，以避免源数据库的数据覆盖写入至目标数据库中。前提条件 已创建同步或迁移实例。更多信息，请参见 同步方案概览 和 迁移方案概览 中的相关配置文档。实例已开始运行，且 运行状态...
SDK重新运行后不能成功订阅数据
问题原因 因为数据订阅通道中保留数据的时间范围为1天，从当前时间减1天，当天时间订阅通道会删除过期数据。因此如果上次SDK退出时最后一条消费数据的时间点对应的数据，不在当前订阅通道中，就不能订阅到这个消费位点对应的数据。解决方案...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
功能特性
计算 MaxCompute向用户提供了多种...数据公网下载 数据传输独享资源 数据传输服务（包年包月）资源组是MaxCompute为满足部分客户数据传输的需求推出的独享资源组，保障了数据传输资源的独享性，并提高了数据传输的稳定性。数据传输独享资源
网络连通解决方案
添加数据源时需要根据数据源所在网络环境，通过对应的网络解决方案，实现Dataphin与数据源的网络连通。本文为您介绍数据源在不同网络环境中与Dataphin的网络连通方案。网络连通方案 根据数据源所在的网络环境，在下图中选择对应的网络连通...
管理消费组
操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据订阅。在 数据订阅列表 页面上方，选择订阅通道所属地域。定位至已购买的数据订阅通道，单击订阅ID。单击左侧导航栏的 数据消费。根据需求执行修改密码或删除消费组的操作。修改密码...
管理消费组
在左侧导航栏，选择 数据传输（DTS）>数据订阅。说明 实际操作可能会因DMS的模式和布局不同，而有所差异。更多信息，请参见 极简模式 和 自定义DMS界面布局与样式。您也可以登录 新版DTS订阅任务的列表页面。在 订阅任务 右侧，选择订阅...
Kafka集群的数据存储格式
数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化成便于存储或传输的格式。Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时...
Kafka集群的数据存储格式
数据存储格式 DTS支持将写入至Kafka集群的数据存储为如下三种格式：DTS Avro：一种数据序列化格式，可以将数据结构或对象转化成便于存储或传输的格式。Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时...
- 产品推荐
- 这些文档可能帮助您