概述
例如机房中空调坏了、温度升高时能及时发出警告。节点 描述 定时触发 设置时间，使服务在指定时间执行。设备（树莓派计算机）获取上报的机房温度，用于条件判断的源数据。条件判断 设置发出温度告警信息的条件。钉钉机器人 添加1个钉钉机器...
弹性并行查询（Elastic Parallel Query）常见问题
查看执行计划，判断SQL是否完成了执行计划，查看是否使用了并行查询，在explain中如看到 Parallel scan 字段，则表明使用了并行查询。并行查询的基本原理是将一个大查询任务拆解成多个小的查询任务并发执行，但如果查询的表的实际数据量较...
并行步骤
本文介绍了并行步骤和相关使用示例。介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
并行查询配置参数说明
本章节介绍了并行查询功能相关的参数和变量。并行查询相关参数 表 1.系统参数 参数名 级别 描述 max_parallel_degree Global、Session 单个查询的最大并行度，即并行执行的最大Worker数量。取值范围：[0-1024]；默认值：0，表示关闭并行...
并行循环步骤
本文介绍了并行循环步骤和其相关使用示例。介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环...
使用场景
即使对于一个特定的查询已经产生了并行查询计划，在一些情况下执行时也不会并行执行该计划。如果发生这种情况，那么领导者将会自己执行该计划在 Gather 节点之下的部分，就好像 Gather 节点不存在一样。上述情况将在满足下面的任一条件时...
PolarDB MySQL版8.0.2版本性能（集群版）
PolarDB MySQL版 8.0.2版本优化增强了并行查询和Hash Join能力。并行查询：并行查询重磅升级到2.0版本，对复杂分析查询进行了更全面的支持。多阶段的执行框架，SQL语句被拆解为多个计算算子。每个算子可以分布到多个worker上并行完成，算子...
Semi-Join的并行加速
IN SELECT*FROM Employee WHERE DeptName IN(SELECT DeptName FROM Dept)EXISTS SELECT*FROM Employee WHERE EXISTS(SELECT 1 FROM Dept WHERE Employee.DeptName=Dept.DeptName)并行Semi-Join性能提升 对于...-Join所有策略实现了并行加速...
列存索引技术架构介绍
官方从MySQL 8.0开始，在 count(*)等基本查询上增加了并行执行能力，但构建复杂SQL语句的并行执行能力依然任重道远。MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
SQL调优
每次读取 256 MB 数据太少，导致Instance的执行时间太短，而由于输入数据很大，反而导致了并行度过大，使Instance大多数时间在排队等资源，需要调大单个Instance读取的数据量。解决方案：使用如下命令调大单个并发处理的数据大小。set odps...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容Oracle）2.0版本 引入了并行的索引回收机制。此外，用户还可以自行指定并行工作者的数量，以便更好地满足需求。通过这些优化措施，PolarDB PostgreSQL版（兼容Oracle）2.0...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容Oracle）2.0版本 引入了并行的索引回收机制。此外，用户还可以自行指定并行工作者的数量，以便更好地满足需求。通过这些优化措施，PolarDB PostgreSQL版（兼容Oracle）2.0...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
自动优化
写优化的目的是为了提升写数据的吞吐量，它是通过减少被写入的文件数量来实现的，而代价就是降低了并行度。并且由于写优化需要根据表的分区结构来对写入的数据进行额外的shuffle，额外的shuffle势必会引入额外的开销，但写入性能的提升一般...
缓冲区管理
并行刷脏 为进一步提升一致性位点的推进效率，PolarDB 实现了并行刷脏。每个后台刷脏进程会从FlushList中获取一批数据页进行刷脏。热点页 引入刷脏控制之后，仅满足刷脏条件的Buffer才能写入存储。如果某个Buffer修改非常频繁，可能导致...
AliSQL内核小版本发布记录
AliSQL是RDS MySQL的内核，除了为用户提供MySQL社区版的所有功能外，还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能，赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
快速开始
本章节介绍了如何快速使用弹性并行查询。注意事项 只读节点和主节点都支持并行查询功能。主节点上并行查询默认关闭。开启并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，设置并行度参数及并行引擎，...
更换集群损坏的本地盘
在 EMR控制台 上单击坏盘所在集群，在 集群服务 页签找到对该坏盘有读写操作的EMR服务，通常包括HDFS、HBase和Kudu等存储类服务，选择目标服务区域的>停止 完成服务停止操作。您也可以在该节点通过 sudo fuser-mv$device_name 命令查看占用...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
Ganos并行创建空间索引
PolarDB PostgreSQL版（兼容Oracle）提供了Ganos并行创建空间索引功能，本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速，您可通过本章节的内容体验千万级时空数据创建空间...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
何时使用Range-Hash分区
对于这些类型的表（典型的数据仓库系统)，组合Range-Hash分区提供了在Range级别进行分区修剪的优势，并有机会在Hash级别执行并行的全分区或部分分区连接。对于特定的SQL语句，特定的情况可以从两个维度上的分区修剪中受益。组合Range-Hash...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
PolarDB并行查询
Parallel Hash join在build/probe两个阶段均做了并行支持：build阶段，多个worker向同一个共享的lock-free Hash Table中插入数据。probe阶段，多个worker并行到Hash Table做搜索。两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel ...
深度解析PolarDB数据库并行查询技术
因为每个WORKER的GROUP BY操作已经是最终结果，所以还可以将ORDER BY和LIMIT也下推到WORKER来执行，进一步提升了并行执行的效率。并行查询引擎对TPCH的线性加速 下图是一个并行查询引擎对TPCH的加速效果，TPC-H中100%的SQL可以被加速，70%...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
Workflow示例模板
使用ags CLI命令，我们可以以图形方式显示此工作流规范的执行历史记录，该规范显示名为 hello2a 和 hello2b 的步骤彼此并行运行。结果如下所示。STEP PODNAME ✔ arguments-parameters-rbm92├-✔ hello1 steps-rbm92-2023062412└-·-✔ ...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版 的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下语句查看 PolarDB ...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
- 产品推荐
- 这些文档可能帮助您