Persistent Buffer Pool
PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所示：其中，Shared Buffer Pools在 PolarDB PostgreSQL...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行...对PolarDB也是如此，在设计和开发并行查询引擎时，我们充分利用现有优化器的技术积累和实现基础，不断改进，不断打磨，最终形成了一个持续迭代的技术方案，以保证新的优化器的稳定运行和技术革新。
关键词抽取
开发 基于 布拉 修斯 平板 解 阻力 估算 算法 设计 求解器 Fortran 语言 上 移 植 Python 和 Fortran 代码 混编 基于 OpenMP 和 CUDA 并行 加速 算法 设计 与 开发 实现 基于 面元法 求解器 三维 翼身融合 体 气动 参数 计算 算例 外形 ...
RDS SQL Server CPU使用率高问题排查
应用设计和开发过程中，要考虑查询的优化，遵守SQL优化的一般优化原则，降低查询的逻辑 I/O，提高应用可扩展性。新功能、新模块上线前，要使用生产环境数据进行压力测试。经常使用CloudDBA查看实例各项性能，及时发现问题。适用于 云数据库...
表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是...
AliSQL内核小版本发布记录
AliSQL是RDS MySQL的内核，除了为用户提供MySQL社区版的所有功能外，还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能，赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
如何基于LSM-tree架构实现一写多读
LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的特点，将所有更新操作都转化为追加写方式，提升写入吞吐。LSM-tree类的存储...
无锁结构变更方案对比
触发器的设计中拷贝数据和变更数据只能并行，无疑将会增加锁竞争。无触发器解耦了源表和目标表的依赖，所以锁竞争也就不复存在。关于目标表上的拷贝和更新时的竞争，我们在逻辑上使用交叉执行的方式避免和降低锁竞争，虽然会影响变更效率，...
PolarDB处理TPC-H查询的挑战和机遇
and Subquery 并行和并发性（Parallelism and Concurrency）Query Plan Parallelization Workload Management Result Re-use 上图中不同颜色的方框代表不同瓶颈点对于每条查询的影响程度，越深影响越大。说明 该图片来自于 IEEE国际大数据...
技术原理
这种方式也称为MPP并行计算。PolarDB-X的优化器面向HTAP负载设计，对复杂查询有着良好的支持。PolarDB-X采用了基于代价的优化器技术，能够根据实际数据量、数据分布情况等，搜索到较优的执行计划，例如，对Join顺序进行调整、选择合适的...
OSS/OSS-HDFS的性能优化最佳实践
也就是说，如果您的请求的文件前缀设计合理，在某个OSS Bucket中创建了10个前缀来并行上传，则可以将数据写入性能扩展到每秒35000个PUT请求。阿里云OSS-HDFS服务（JindoFS服务）是JindoFS存储系统在阿里云上的服务化部署形态，与阿里云OSS...
实例规格概述
因此设计Shard时要充分考虑计算的过程是Shard间充分并行化，还是需要Shard间交换数据的场景。对于数据写入和更新场景，是可以Shard间并行化写入与更新，因此Shard更多，吞吐能力会更好；对于点查场景，如果每个查询都可以准确命中某个Shard...
混合负载HTAP
查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing）类事务型查询包含的表数量通常有限（例如3个以内），并且Join条件往往被索引覆盖，且查询涉及的数据量较小。而对于不符合上述特征...
弹性并行查询（Elastic Parallel Query）常见问题
本文档介绍了弹性并行查询（Elastic Parallel Query）的常见问题。PolarDB读写集群地址是否可以通过hint开启并行查询？优先推荐您在 PolarDB 控制台的 集群地址配置 页面开启并行查询。如果您希望在SQL语句级别生效，可以通过/*+PARALLEL(n...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_parallel_workers 为单个节点内允许同时运行的最大并行worker线程数，超过 max_parallel_workers 后新的...
快速开始
本章节介绍了如何快速使用弹性并行查询。注意事项 只读节点和主节点都支持并行查询功能。主节点上并行查询默认关闭。开启并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，设置并行度参数及并行引擎，...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
并行操作
Ganos支持利用多个CPU提升查询或计算性能，这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用...
并行操作
Ganos支持利用多个CPU提升查询或计算性能，这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
并行操作
Ganos支持利用多个CPU提升查询或计算性能，这种特性被称为并行操作。Ganos支持并行执行SQL语句和并行操作raster对象。并行执行SQL语句 原理 PostgreSQL支持利用多个CPU生成并行的查询计划，并将执行任务分配到多个CPU上以提升性能。适用...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
并行查询配置参数说明
本章节介绍了并行查询功能相关的参数和变量。并行查询相关参数 表 1.系统参数 参数名 级别 描述 max_parallel_degree Global、Session 单个查询的最大并行度，即并行执行的最大Worker数量。取值范围：[0-1024]；默认值：0，表示关闭并行...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
LightGBM算法
设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据对内存的使用、减少通信代价以及提升多机并行时的效率，在数据计算上实现线性加速。使用场景 LightGBM是一个算法框架，包括GBDT...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
并行查询
测试示例 用于测试的 AnalyticDB PostgreSQL 实例规格如下：Segment节点规格：4C32G Segment节点数量：4 在数据库中导入10 GB测试数据，并行加速前后的单表查询时间耗时如下：并行加速前 并行加速后 并行加速前 并行加速后 17456.066ms ...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了跨机并行查询（Parallel Execution）的功能，支持多个计算节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的分析型查询性能，充分发挥存储层PolarFileSystem的高I/O吞吐能力，...
- 产品推荐
- 这些文档可能帮助您