PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
深度解析PolarDB数据库并行查询技术
分析统计的复杂算子的并行 对于一个分析统计的需求，GROUP BY操作是不可避免的操作，尤其对大量的JOIN结果再做GROUP BY操作，是整个SQL中最费时的一个过程，因此GROUP BY的并行也是并行查询引擎必须优先解决的问题。以年度消费TOP10客户的...
ECS实例数据传输的实现方式
文件传输原理 文件传输是信息传输的一种形式，它是在数据源和数据宿之间传送文件数据的过程，也称为文件数据通信。操作系统把文件数据提取到内存中做暂存，再复制到目的地，加密是在文件外加了一个壳，文件本身仍然是一个整体，复制只是把...
并行安全性
为函数和聚集加并行标签 规划器无法自动判定一个用户定义的函数或者聚集是并行安全、并行受限还是并行不安全，因为这需要预测函数可能执行的每一个操作。一般而言，这就相当于一个停机问题，因此是不可能的。甚至对于可以做到判定的简单...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
Hash Join的并行加速
并行策略 上图中是并行度为4的并行查询计划（即 PolarDB 会启用4个Worker来执行查询）。其中 t1 表会执行Parallel Scan，即由4个Worker分别扫描这个表。每个Worker使用 t1 的一部分数据建立各自的Hash表，再和整个 t2 表执行JOIN操作，最后...
并行循环步骤
并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环步骤的每次迭代执行都对应一个本地变量。执行并行循环步骤会对输入参数里的每个元素并发执行串行步骤。这些串行步骤会改变其迭代对应的本地变量。当...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
并行步骤
并行步骤包含以下属性：（必需）type：parallel表示该步骤是并行步骤。（必需）name：步骤名称。（必需）branches：多个分支，数组类型，每个元素对应一个分支。（必需）steps：定义了分支所对应的多个串行步骤。（可选）end：当前步骤结束...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
并行INSERT
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
并行INSERT
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
并行（Parallel）
请参见 输入构造器 Branches ParallelBranch 是 并行分支。详见 ParallelBranch OutputConstructor map[string]any 否 输出构造器。请参见 输出构造器 Next string 否 当前状态的下一状态。当End取值为true时，无需指定。my-next-state End...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
电商压测场景示例
业务会话1：浏览产品A 和 业务会话2：购买产品B 是并行关系。根据业务逻辑，一部分用户在浏览产品A，另一部分用户在进行购买产品B的一系列操作，即两个业务是同时发生的，所以将它们设置为两个业务会话，压测中会并行发起请求。业务会话中...
电商压测场景示例
串联链路1：浏览产品A 和 串联链路2：购买产品B 是并行关系。根据业务逻辑，一部分用户在浏览产品A，另一部分用户在进行购买产品B的一系列操作，即两个业务是同时发生的，所以将它们设置为两个串联链路，压测中会并行发起请求。串联链路中...
CreateProject-创建项目
本接口用于创建数据迁移或...null ThrottleIOPS integer 否 全量传输阶段限制能达到的最大传输流量，单位为字节/秒。输入 null 时，表示不限制 IOPS。null EnableIncrTransfer boolean 否 是否开启增量同步。true EnableReverseIncrTransfer ...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
技术原理
当优化器判断对于某一个特定的查询，并行查询是最快的执行策略时，优化器将创建一个查询计划。该计划包括一个 Gather 或者 Gather Merge 节点。下面是一个简单的例子：EXPLAIN SELECT*FROM pgbench_accounts WHERE filler LIKE '%x%';QUERY...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
802.11n short GI 工作原理
概述 short gi功能可以缩短两个数据传输间隔，用于提高效率，802.11a/b/g传输间隔是800ns，short gi将间隔缩短至400ns，可以将效率提高10%左右。详细信息 射频芯片在使用OFDM调制方式发送数据时，整个帧是被划分成不同的数据块进行发送的，...
什么是阿里云PCDN
充分发挥P2P技术特点，在并行传输、弱网优化、下载加速等方面优势明显。体验优质 支持主流终端平台、主流内容格式的内容加速分发，均可达到等于或略高于CDN的用户体验指标。针对移动端进行多重优化，支持纯内存模式，不必读写TF或ROM，极低...
数据加密
安全传输层协议（SSL/TLS）用于在两个通信应用程序之间提供保密性和数据完整性。Logtail加密传输 Logtail是日志服务提供的日志采集Agent。为保证您的数据在发送过程中不会被篡改，Logtail会通过HTTPS通道从服务端获取私密Token，并对所有...
评估迁移时间与测试传输速度
迁移时间为：2.27+0.03=2.3小时 测试传输速度 传输速度是指源服务器到中转实例的传输速度，由源服务器出口带宽速度和中转实例入口带宽速度共同决定。其中，中转实例入口带宽速度默认为100 Mbps。例如：源服务器出口带宽为50 Mbps，中转实例...
CDN加速和OSS传输加速的区别
概述 本文主要介绍阿里云对象存储OSS的传输加速功能和CDN加速OSS资源的区别，以便您根据实际业务进行选择。详细信息 阿里云对象存储OSS以海量、安全、低成本、高可靠等特点已经成为用户存储静态资源和文件的首要选择，实际使用中面向全球...
数据传输加密
网络传输加密 网络传输加密是指业务应用通过HTTPS协议传输数据，对HTTP网络传输协议进行安全认证，建议企业对外提供的关键业务进行网络传输加密。通过 数字证书管理服务（Certificate Management Service）来提供网络传输加密能力，数字...
- 产品推荐
- 这些文档可能帮助您