下载和导入同步对象配置
数据传输支持下载数据同步项目的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。下载对象配置 新建数据同步项目后，您可以下载同步对象的配置信息。...
数据集成概述
使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步数据必须抽象为结构化数据）的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步，不支持同步OSS中存放完全非...
常见问题
如果IP层需要传输数据包，而且数据包的长度超过了MTU，那么IP层就要对数据包进行分片操作，使每一片的长度都小于或等于MTU。如果数据包传送时不停地进行分片，会导致网络传输效率下降。在IPv6网络中，为了简化报文处理流程、提高处理效率，...
分组聚合查询优化
分组聚合流程 AnalyticDB for MySQL 是分布式数据仓库，其分组聚合查询默认分为两步：完成数据的局部（PARTIAL）聚合。局部聚合节点只需要占用少量内存，聚合过程为流式过程，数据不会堆积在局部聚合节点上。局部聚合完成后，数据根据分组...
查询诊断
您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称 说明 算子名称 算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...
计费项
常见问题 为什么没有传输数据的按量付费实例还在收费？按量付费的DTS实例在增量任务运行期间，将按照实际资源使用情况进行计费，与源端数据是否发生变更无关。建议您在完成数据传输后，尽快结束或释放实例。具体操作，请参见 结束DTS实例 ...
新建 Kafka 数据源
在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框，选择 数据源类型 为 Kafka。选择 实例类型，配置各项参数。选择 阿里云 Kafka 实例 时，配置参数如下。阿里云 Kafka 实例的...
创建Kafka数据源
常用于需要对通信进行严格控制和验证的应用场景，例如，金融交易或敏感数据的传输。开启SSL双向认证需 上传Ketystore证书 及 填写Ketystore证书密码 和 Ketystore私钥密码。Schema Registry Schema Registry为Confluent Kafka所支持功能，...
创建Kafka数据源
常用于需要对通信进行严格控制和验证的应用场景，例如，金融交易或敏感数据的传输。开启SSL双向认证需 上传Ketystore证书 及 填写Ketystore证书密码 和 Ketystore私钥密码。Schema Registry Schema Registry为Confluent Kafka所支持功能，...
查看数据复制方式
复制方式介绍 同步 应用发起的更新在主实例执行完成后，会将日志同步传输到备实例，备实例收到日志，事务就完成了提交，不需要等待备实例执行日志内容。当备实例不可用或者主备实例间出现网络异常时，同步会退化为异步。异步 应用发起更新...
跨阿里云账号迁移MongoDB实例
连接方式 数据传输服务DTS连接源实例的方式。根据需求选择 非加密连接 或 SSL安全连接。如果设置为 SSL安全连接，您需要提前开启源实例的SSL加密功能。说明 SSL安全连接 当前仅支持MongoDB Atlas版本。选择 SSL安全连接 会显著增加CPU消耗...
产品优势
DTS内部对部分传输链路提供7×24小时的数据准确性校验，快速发现并纠正传输数据，保障传输数据可靠性。DTS各模块间采用安全传输协议及安全token认证，并具有自动断点续传机制，有效地保证数据传输的可靠性。简单易用 DTS提供可视化管理界面...
GxP欧盟附录11标准合规包
5.1 以电子方式与其他系统交换数据的计算机化系统应包括适当的内置检查，以确保数据的正确和安全输入和处理，以最大限度地减少风险。7.1 应通过物理和电子手段保护数据免受损坏。应检查存储的数据的可访问性、可读性和准确性。应确保在整个...
受众与核心能力
DataWorks赋予用户仅通过单一平台，即可实现数据传输、数据计算、数据治理、数据分享的各类复杂组合场景的能力。同时，DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块，为企业业务的数字化转型提供支持。产品受众 从事数据...
算子
上下游Stage间传输数据的方法有如下几种：Broadcast：表示上游Stage中每个计算节点的数据都会复制到所有下游Stage的计算节点。Repartition：表示上游Stage中每个节点的数据会按照固定的规则切分后，再分发到下游Stage的指定计算节点。...
DTS 是否支持 VPC 网络下的 MongoDB 的迁移
支持，DTS 当前已经对 VPC 网络的云数据库 MongoDB 作为迁移的源数据库提供支持。
数据订阅启动SDK报如下的错误“keep alive error”
问题原因 SDK运行的服务器没有公网IP，不能连接数据传输服务的服务器，或者因为订阅通道的消费时间点不在订阅通道的数据范围之内。解决方案 创建公网IP，建立SDK的公网连接，或者重新修改消费位点，具体的修改方法详见 修改订阅通道消费...
账单查询
产品 选择 云数据传输，统计项 选择 计费项，统计周期 选择 明细，即可看到云数据传输小时级别实例粒度的消费信息，包括实例、单价、用量、价格及资源包抵扣等。以 云数据传输-公网 明细账单为例，您可以查看流量消耗的具体云产品、云产品...
配置备份计划
备份时间受多种因素影响，包括备份数据量的大小、数据库的负载情况和网络传输的速度等。您可以通过设置备份计划的 全量备份并行线程数上限 与 备份网络限速 参数来调节备份速度。具体操作，请参见 如何调节备份速度。购买备份计划时选错了...
查看数据同步项目的详情
在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，进入详情页面查看其 基本信息 和 同步详情。您可以在 数据同步 页面，根据标签、状态、类型和关键字等，搜索目标数据同步项目。数据同步项目的状态包括...
数据传输加密
网络传输加密 网络传输加密是指业务应用通过HTTPS协议传输数据，对HTTP网络传输协议进行安全认证，建议企业对外提供的关键业务进行网络传输加密。通过 数字证书管理服务（Certificate Management Service）来提供网络传输加密能力，数字...
Bucket Shuffle Join
小于常规Join方式的网络开销，其中Broadcast Join为 3倍的B表数据量，Shuffle Join为 A表数据量+B表数据量 内存开销：B表数据量。小于等于常规Join方式的内存开销，其中Broadcast Join为 3倍的B表数据量，Shuffle Join为 B表数据量。相比于...
新增消费组
数据订阅功能支持创建消费组。通过创建多个消费组，您可以对...后续步骤 新增消费组后，根据消费客户端类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据（推荐）使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据
修改数据复制方式
前提条件 实例要求如下：MySQL 8.0高可用版（本地SSD盘）MySQL 5.7高可用版（本地SSD盘）MySQL 5.6高可用版（本地SSD盘、ESSD云盘）复制方式介绍 半同步 应用发起的更新在主实例执行完成后，会将日志同步传输到备实例，备实例收到日志，即...
到期或欠费说明
DTS实例到期或欠费后，数据传输任务将停止服务，如果7天内还未充值成功，系统将释放并删除该任务。警告 实例到期或欠费后有停机风险，系统会通知您，请及时续费或充值，避免对您的服务造成影响。实例计费类型 到期或欠费的影响 包年包月 ...
创建Hologres数据源
新建Hologres数据源用于实现Dataphin能够读取Hologres的业务数据，及能够向Hologres写入数据。在引入Hologres的业务数据至Dataphin和将Dataphin的数据写入至Hologres的场景中，您需要先创建Hologres数据源。本文为您介绍如何新建Hologres...
数据传输服务概述
数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...
云数据库 OceanBase 版数据传输服务等级协议
版本生效日期：2023年12月25日 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的云数据库 OceanBase 版数据传输服务（以下简称“OceanBase 数据传输服务”）的服务可用性等级指标及赔偿方案。...
功能特性
功能集 功能 功能描述 参考文档 资源计费 读流量 按照实际传输的数据量计费 产品定价 存储容量 按照实际的存储量计费 产品定价 公网流量 使用阿里云公网进行的网络传输数据流量 产品定价 活跃shard租用 Shard租用只统计当前状态为活跃...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
什么是DTS Serverless实例
DTS Serverless实例是数据传输服务DTS（Data Transmission Service）提供的资源规格可以弹性变化的实例。Serverless实例可以适应不断变化的业务需求，使实例资源能够随业务规模的变化自动调整，从而避免资源浪费和控制运维成本。背景信息 ...
异地备份方案概览
NoSQL 数据库类型 推荐方案 方案 方案特点 云Redis数据库 自建Redis数据库 其他云厂商的Redis数据库 云MongoDB数据库 自建MongoDB数据库 其他云厂商的MongoDB数据库 推荐在DBS进行 逻辑备份。通过公网将数据库实例进行异地备份，详情请参见...
Parameters参数说明
sink.batch.enable 04、07 是否以batch（批量提交）的方式发送数据，取值为：true：是，以batch的方式发送数据。false：否，不以batch的方式发送数据。source.filter.ddl.enable 04、07 是否过滤DDL，取值为：true：增量任务过滤DDL并继续...
数据传输服务（上传）场景与工具
实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个...
购买流程
DTS仅支持通过 数据传输服务DTS（后付费）的方式购买数据校验任务。类别 参数 说明 基本配置 商品类型 选择 数据传输服务DTS（后付费）。功能 选择 数据校验。源实例 选择数据校验的源数据库类型。源实例地域 选择源数据库所属的地域，购买...
创建DMS逻辑库的数据订阅任务
消费网络类型 网络类型 数据订阅实例的 网络类型 固定为 专有网络，您需要选择具体的 专有网络 和 虚拟交换机。更多信息请参见 专有网络。说明 任务创建成功后，消费网络类型 不可更改。若您的数据订阅客户端部署在专有网络上，则建议选择...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
在 数据传输>数据同步 页面，单击新购买的数据同步项目后的 配置。如果您需要引用已有的项目配置信息，可以单击 引用配置。详情请参见 引用和清空数据同步项目配置。在 选择源和目标 页面，配置各项参数。参数 描述 同步项目名称 建议使用...
计费常见问题
A：不同规格实例的传输性能不同，当实例其他参数相同且影响因素（传输网络的带宽和网络延时等）固定时，规格越高性能越强，更多信息请参见 数据迁移链路规格说明 和 数据同步链路规格说明。Q：为什么数据同步实例的价格普遍高于数据迁移...
什么是数据库网关
DG相关服务 相关服务 说明 数据传输服务DTS 数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步...
- 产品推荐
- 这些文档可能帮助您