什么是阿里云PCDN
充分发挥P2P技术特点，在并行传输、弱网优化、下载加速等方面优势明显。体验优质 支持主流终端平台、主流内容格式的内容加速分发，均可达到等于或略高于CDN的用户体验指标。针对移动端进行多重优化，支持纯内存模式，不必读写TF或ROM，极低...
淘宝App在短视频场景下的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
DCDN为淘宝App短视频场景加速的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
并行（Parallel）
基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支结果的map[string]any，然后可以通过输出...
并行步骤
介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤。这些串行步骤会改变其分支对应的...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
查询改写与下推
下推是查询改写的一项重要优化，利用 PolarDB-X 1.0 的拆分信息来优化执行计划，使得算子尽量下推以达到提前过滤数据、减少网络传输、并行计算等目的。背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储...
ECS实例数据传输的实现方式
如果传输的是多个文件，那么这些文件将会按顺序分别传输，如果传输过程发生中断，则正在传输的文件会传输失败，但不会影响已经传完的文件（如果传输的是文件压缩包，则无论压缩包中有几个文件，该压缩包均会被视为一个文件）。通常我们看到...
流水线组件
持续交付支持的 Pipeline 组件包括冲突检测、缺陷查找、代码检测、代码合并、编译、功能测试、部署、交付内容传输等组件。...交付内容传输（Filex）Filex 组件用来传输交付物。问题处理 当传输失败时，可尝试重试以解决问题。
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
概述
并行网关 并行网关用来在流程中实现并发，成对出现。一对并行网关间的所有分支被同时执行，不进行条件判断。并行网关的一个分支执行完毕后，需要等待其他分支全部执行完流程才会走到下一个节点。使用方法，参见 使用并行网关。条件网关 ...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
技术原理
反过来，当计划的并行部分产生大量的元组时，领导者将几乎全用来读取由工作者产生的元组并且执行 Gather 或 Gather Merge 节点上层计划节点所要求的任何进一步处理。在这些情况下，领导者所作的执行并行部分的工作将会很少。当计划的并行...
数据传递
并行（Parallel）状态：同一份输入，将会被深拷贝后同时传输给多个分支。输出将会被收集为Map[String]Any的形式，其中Key是每个Parallel分支的隐式名称“Branch0～BranchN”，对应Value是每个Parallel分支实际的处理结果。循环（Map）状态...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
802.11n short GI 工作原理
无线信号在空间传输会因多径等因素在接收侧形成时延，如果后续数据块发送过快，会和前一个数据块形成干扰，而GI就是用来规避这个干扰的。以往GI时长为800ns，而在802.11n中标准中允许设置Short GI时长为400ns，这样能使物理连接速率提升11%...
基本概念
域名 域名是IP地址的代称，由一串用半角句号（.）分隔的名称组成，在数据传输时用来标识一台服务器或服务器组。单域名是最简单的域名，例如，www.aliyundoc.com。通配符域名是指对应一个主域名及其所有次级子域名的域名。通配符证书 通配符...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
并行循环步骤
本文介绍了并行循环步骤和其相关使用示例。介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环...
Hash Join的并行加速
PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。简单并行Hash Join 前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
电商压测场景示例
压测场景中包含一个或多个并行的业务，每个业务包含一个或多个串行的请求。请参见 性能测试技术指南。示例 淘宝网需要对产品A和B相关的页面（即存在多个API）进行压测，假设其主要业务场景为：业务A：浏览产品A。业务B：购买产品B（登录→...
电商压测场景示例
压测场景中包含一个或多个并行的业务，每个业务包含一个或多个串行的请求。请参见 性能测试技术指南。示例 淘宝网需要对产品A和B相关的页面（即存在多个API）进行压测，假设其主要业务场景为：业务A：浏览产品A。业务B：购买产品B（登录→...
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
压测场景的结构和数据分配
依赖登录的压测场景结构 下图中业务会话1的API 1是登录业务相关接口，其典型配置如下：图例说明如下：数据导出 指令一般应用于登录之后需要并行压测多个不同业务的情况，支持标准的Cookie导出或者是业务自定义的 出参 导出，目前支持最多...
CreateProject-创建项目
本接口用于创建数据迁移或...null ThrottleIOPS integer 否 全量传输阶段限制能达到的最大传输流量，单位为字节/秒。输入 null 时，表示不限制 IOPS。null EnableIncrTransfer boolean 否 是否开启增量同步。true EnableReverseIncrTransfer ...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
推荐的性能设计模式
对于高吞吐量传输，建议您在多个线程或多个实例中同时启动多个请求连接来并行上传和下载数据。对于某些应用程序，您可以通过在不同的线程或实例中同时启动多个请求来实现并行连接。扩展策略取决于您的应用程序和您访问的对象的结构。当您要...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
OSS/OSS-HDFS的性能优化最佳实践
对于高吞吐量传输，您可以根据您的ECS规格和应用程序，调整特定参数，在多个线程或多个实例中控制上传和下载数据的并发或并行度来优化吞吐量。测量性能指标 根据CPU、网络吞吐量的要求来评估不同的ECS实例规格。有关实例规格的更多信息，请...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
- 产品推荐
- 这些文档可能帮助您