数据网络传输编码-数据网络传输编码文档介绍内容-阿里云

查询诊断

您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络传输数据耗时对算子排序以及计算整体比例。算子统计信息介绍如下：名称说明算子名称算子名称与编号，在计划树中唯一。类型ID 算子类型编号。...

数据传输服务概述

数据传输服务是MaxCompute数据进出的最重要通道，其中包括适用于批量操作的普通Tunnel和适用于流式写入的Stream Tunnel，同时在所有Region提供免费限量使用的数据传输服务共享资源组，也提供数据传输服务（包年包月）独享资源组，供您采购...

功能特性

功能集功能功能描述参考文档资源计费读流量按照实际传输的数据量计费产品定价存储容量按照实际的存储量计费产品定价公网流量使用阿里云公网进行的网络传输数据流量产品定价活跃shard租用 Shard租用只统计当前状态为活跃...

购买同步实例

networkType String 否 Intranet 数据传输网络类型，固定取值为 Intranet（专线）。AccountId String 否 12323344*阿里云主账号ID，无需设置，该参数即将下线。DBInstanceCount Integer 否 3 当 SourceEndpoint.InstanceType传入 DRDS时，...

分组聚合查询优化

因为数据已经经过了局部聚合，所以需要网络传输的数据较少，网络压力较小。数据重分布完成后，执行最终聚合，在最终聚合节点，需要把一个分组的值及其聚合状态维护在内存中，直到所有数据处理完成，以确保某个特定的分组值没有新的数据需要...

网络资源

网络资源是流量入口和数据交互的基础设施，常见的网络资源风险点如下：网络带宽不足指网络连接的带宽无法满足系统或应用程序的需求，导致网络传输速度慢，影响系统的响应和性能。针对网络资源带宽不足的情况：带宽监控预警：实时监控网络...

算子

StageOutput 该算子用于将当前Stage处理后的数据通过网络传输到下游Stage的节点。Sort 对应SQL语句中ORDER BY子句的操作，执行ORDER BY字段的排序。Sort算子包含了以下属性。属性说明 OrderBy 排序字段。Orderings 排序方式。支持如下方式...

购买与使用独享数据传输服务资源组

独享数据传输服务资源组可以提供更高的数据传输速度和更好的网络条件，以减少传输时间并提高效率。本文为您介绍如何购买、使用独享数据传输服务资源组。背景信息 MaxCompute当前在各个地域均为您提供了免费的公共数据传输服务资源组，为该...

使用ETL分析实时订单

案例背景本案例将为您演示如何使用流式ETL功能，将实时交易数据（订单号、客户ID、产品/商品编码、交易金额、交易时间）与业务维度数据（产品编码、产品单价、产品名称等）相结合，并将满足过滤条件的数据（如统计单笔超3000的实时交易...

数据传输规格说明

本文为您介绍 OceanBase 数据传输服务的规格说明及性能测试情况。注意事项本文的规格说明参考的是测试数据，仅供您在选择规格时进行参考，不作为产品 SLA（服务等级协议）的评判依据。不同的实例规格对应了增量同步的不同 RPS 性能表现，...

跨云账号迁移云数据库Redis实例

对于List列表，由于DTS在调用 psync 或 sync 传输数据时，不会对目标端已有的数据执行 Flush 操作，所以可能出现重复的数据。如果源库中的某些Key使用了过期（expire）策略，由于可能存在Key已过期但未被及时删除的情况，所以在目标库中...

PolarDB MySQL版间迁移

通过数据传输服务DTS（Data Transmission Service），可以帮助您实现 PolarDB MySQL版集群间的数据迁移。说明目前 PolarDB MySQL版集群暂不支持升级MySQL版本至8.0版本，您可以创建一个新的 PolarDB MySQL版集群（8.0版本），使用本...

PolarDB MySQL版间的同步

通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB MySQL版集群间的同步。前提条件已创建源和目标 PolarDB MySQL版集群，详情请参见购买按量付费集群和购买包年包月集群。目标 PolarDB MySQL版集群的存储空间须...

RDS MySQL同步至云原生数据仓库 AnalyticDB ...

数据传输服务DTS（Data Transmission Service）支持将RDS MySQL同步至云原生数据仓库AnalyticDB PostgreSQL版。通过DTS提供的数据同步功能，可以轻松实现数据的流转，将企业数据集中分析。支持的源数据库 MySQL同步至云原生数据仓库...

RDS MySQL同步至PolarDB MySQL版

通过数据传输服务DTS（Data Transmission Service），可以实现MySQL同步至 PolarDB MySQL版集群。支持的源数据库 MySQL同步至 PolarDB MySQL版集群，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的源...

PolarDB MySQL版同步至AnalyticDB MySQL 3.0

使用数据传输服务DTS（Data Transmission Service），可以帮助您将 PolarDB MySQL版集群同步至云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件已创建源 PolarDB MySQL版集群，...

查看增量迁移链路状态和性能

功能说明增量迁移链路拓扑增量迁移链路展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS：...

RDS MySQL迁移至云原生数据仓库 AnalyticDB ...

RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库通过数据库网关接入的自建数据库通过云企业网CEN接入的自建数据库通过专线、VPN网关或智能网关接入的自建数据库说明本文以 RDS MySQL 实例为源数据库介绍配置...

PolarDB MySQL版同步至RDS MySQL

通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB MySQL版集群同步至MySQL（包括自建MySQL、RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版集群同步至MySQL，支持目标数据库为以下类型。本文以 RDS MySQL 实例...

RDS MySQL同步至ClickHouse集群

云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...

RDS MySQL迁移至PolarDB MySQL版

通过数据传输服务DTS（Data Transmission Service），可以帮助您将MySQL迁移至 PolarDB MySQL版集群。支持的源数据库 MySQL迁移至 PolarDB MySQL版集群，支持源数据库MySQL为以下类型。本文以RDS MySQL实例为例介绍配置流程，其他类型的...

RDS SQL Server实例间的迁移

数据传输服务DTS（Data Transmission Service）支持RDS SQL Server实例间的迁移。前提条件已创建源和目标 RDS SQL Server 实例。支持的版本，请参见迁移方案概览。创建方式，请参见创建RDS SQL Server实例。重要若源RDS SQL Server为...

PolarDB MySQL版迁移至RDS MySQL

通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版迁移至MySQL（包括自建MySQL和 RDS MySQL 实例）。支持的目标数据库 PolarDB MySQL版除了支持迁移至 RDS MySQL 以外，还支持迁至以下类型的自建数据库。说明...

RDS PostgreSQL同步至PolarDB PostgreSQL版

本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 同步至 PolarDB PostgreSQL版。前提条件已创建存储空间大于源 RDS PostgreSQL 实例占用存储空间的目标 PolarDB PostgreSQL版集群。创建方法，请参见...

自建MySQL迁移至PolarDB MySQL版

通过数据传输服务DTS（Data Transmission Service），可以帮助您将自建MySQL数据库迁移至 PolarDB MySQL版集群。支持的源数据库 MySQL与 PolarDB MySQL版集群间的迁移，支持源数据库MySQL为以下类型。本文以有公网IP的自建数据库为例介绍...

RDS SQL Server迁移至RDS MySQL

数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 迁移至 RDS MySQL。前提条件确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见迁移方案概览。已创建存储空间大于 RDS SQL Server 实例已占用空间的...

PolarDB MySQL版迁移至AnalyticDB MySQL 3.0

通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版迁移至云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件已创建源 PolarDB MySQL版集群，详情请参见...

RDS SQL Server迁移至PolarDB MySQL版

数据传输服务DTS（Data Transmission Service）支持将RDS SQL Server迁移至 PolarDB MySQL版集群。前提条件确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见迁移方案概览。已创建存储空间大于源 RDS SQL Server 实例已...

MongoDB（无分片键）迁移至MongoDB（分片集群架构）

数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以云数据库MongoDB版（副本集架构）为源且云数据库MongoDB版（分片...

RDS MySQL实例间的同步

数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例间的数据同步。支持的源和目标数据库 MySQL间同步支持以下源或目标数据库。本文以 RDS MySQL 实例为源和目标数据库介绍配置流程，其他数据源配置流程与本案例类似。源数据...

自建MySQL同步至RDS MySQL

数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地或ECS的MySQL数据库同步至 RDS MySQL 实例。DTS默认仅实时同步增量数据，您也可以选择同时进行库表结构同步和全量同步，平滑地完成自建MySQL...

RDS MySQL迁移至AnalyticDB MySQL 3.0

通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 迁移至云原生数据仓库AnalyticDB MySQL版 3.0，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件已创建源 RDS MySQL 实例，创建方式，请参见快速...

同步 OceanBase 数据库的数据至 DataHub

BLOB 类型的 Topic 仅支持写入一块二进制数据作为一个 Record，数据将会以 BASE64 编码传输。详情请参见 DataHub 官方文档。选择需要同步的 Topic 类型后，请进行以下操作：在选择区域左侧选中需要同步的对象。单击>。根据业务需求，选择...

监控任务性能

数据传输服务DTS（Data Transmission Service）提供了任务性能的监控功能，能够展现链路拓扑结构以及相关性能数据。您可以在控制台通过DTS实例获取到任务的链路状态信息和多种性能指标，为您管理任务提供参考依据。操作步骤登录 数据传输...

查看同步链路状态和性能

功能说明增量同步链路拓扑增量同步链路拓扑主要展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s...

准备工作概览

准备工作概览适用场景 传输数据所用的网络需执行的准备工作配置时需选择的接入方式源或目标库部署在本地，且具备公网地址。公网添加DTS服务器的IP地址到自建库的白名单公网IP 源或目标库部署在本地，但是不具备公网地址。云企业网 ...

数据传输加密

网络传输加密 网络传输加密是指业务应用通过HTTPS协议传输数据，对HTTP网络传输协议进行安全认证，建议企业对外提供的关键业务进行网络传输加密。通过数字证书管理服务（Certificate Management Service）来提供网络传输加密能力，数字...

新建 PostgreSQL 数据源

新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件已创建 RDS PostgreSQL 实例。详情请参见创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...

新建 ADB 数据源

本文为您介绍如何在数据传输中新建云原生数据仓库 AnalyticDB MySQL 版（简称 ADB）数据源。背景信息 ADB 的基本介绍请参见基础数据类型。ADB 的建表、分区表和分布表的详情请参见 CREATE TABLE。OceanBase 数据库 MySQL 租户至 ADB 的...

新建 TiDB 数据源

新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 TiDB 数据源。前提条件已获取相关数据库的 IP 地址和端口号。已存在用于数据迁移的数据库用户。建议您为数据迁移项目创建一个专属的数据库用户，该用户...

数据网络传输编码

新品推荐