PolarDB并行查询
Parallel Hash join在build/probe两个阶段均做了并行支持：build阶段，多个worker向同一个共享的lock-free Hash Table中插入数据。probe阶段，多个worker并行到Hash Table做搜索。两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel ...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
列存索引技术架构介绍
官方从MySQL 8.0开始，在 count(*)等基本查询上增加了并行执行能力，但构建复杂SQL语句的并行执行能力依然任重道远。MySQL最常用的存储引擎都是按行存储，在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费。其次，行式...
弹性并行查询（Elastic Parallel Query）常见问题
查看执行计划，判断SQL是否完成了执行计划，查看是否使用了并行查询，在explain中如看到 Parallel scan 字段，则表明使用了并行查询。并行查询的基本原理是将一个大查询任务拆解成多个小的查询任务并发执行，但如果查询的表的实际数据量较...
并行步骤
本文介绍了并行步骤和相关使用示例。介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
Semi-Join的并行加速
IN SELECT*FROM Employee WHERE DeptName IN(SELECT DeptName FROM Dept)EXISTS SELECT*FROM Employee WHERE EXISTS(SELECT 1 FROM Dept WHERE Employee.DeptName=Dept.DeptName)并行Semi-Join性能提升 对于...-Join所有策略实现了并行加速...
并行查询配置参数说明
本章节介绍了并行查询功能相关的参数和变量。并行查询相关参数 表 1.系统参数 参数名 级别 描述 max_parallel_degree Global、Session 单个查询的最大并行度，即并行执行的最大Worker数量。取值范围：[0-1024]；默认值：0，表示关闭并行...
并行循环步骤
本文介绍了并行循环步骤和其相关使用示例。介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环...
使用场景
即使对于一个特定的查询已经产生了并行查询计划，在一些情况下执行时也不会并行执行该计划。如果发生这种情况，那么领导者将会自己执行该计划在 Gather 节点之下的部分，就好像 Gather 节点不存在一样。上述情况将在满足下面的任一条件时...
PolarDB MySQL版8.0.2版本性能（集群版）
PolarDB MySQL版 8.0.2版本优化增强了并行查询和Hash Join能力。并行查询：并行查询重磅升级到2.0版本，对复杂分析查询进行了更全面的支持。多阶段的执行框架，SQL语句被拆解为多个计算算子。每个算子可以分布到多个worker上并行完成，算子...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
SQL调优
每次读取 256 MB 数据太少，导致Instance的执行时间太短，而由于输入数据很大，反而导致了并行度过大，使Instance大多数时间在排队等资源，需要调大单个Instance读取的数据量。解决方案：使用如下命令调大单个并发处理的数据大小。set odps...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容Oracle）2.0版本 引入了并行的索引回收机制。此外，用户还可以自行指定并行工作者的数量，以便更好地满足需求。通过这些优化措施，PolarDB PostgreSQL版（兼容Oracle）2.0...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容Oracle）2.0版本 引入了并行的索引回收机制。此外，用户还可以自行指定并行工作者的数量，以便更好地满足需求。通过这些优化措施，PolarDB PostgreSQL版（兼容Oracle）2.0...
事件总线系统权限策略参考
本文描述事件总线支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
公测公告
本文介绍了 事件总线EventBridge 在公测期间的计费情况和使用限制。公测公告 事件总线EventBridge 公测公告细则如下：公测期间免费使用。公测期间使用限制，请参见 使用限制。
快速开始
本章节介绍了如何快速使用弹性并行查询。注意事项 只读节点和主节点都支持并行查询功能。主节点上并行查询默认关闭。开启并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，设置并行度参数及并行引擎，...
构建SaaS平台的事件总线
本文介绍SaaS平台通过 事件总线EventBridge 创建自定义总线。SaaS平台通过集成 事件总线EventBridge，为平台上的众多ISVs（Independent Software Vendors）提供基础的、统一的事件通道能力，方便ISV快速构建事件驱动的应用。背景信息 SaaS...
基于事件总线EventBridge实现钉钉新增成员信息入库
本文介绍如何使用 事件总线EventBridge 集成钉钉连接器，将钉钉上成员信息变更投递到数据库。背景信息 钉钉连接平台通过可视化拖拽配置、一键订阅等方式，可以简单高效地实现钉钉、企业内部系统、其他厂商系统与钉钉第三方企业应用之间数据...
产品优势
本章节介绍了 事件总线EventBridge 在可用性、易用性、安全性、可扩展性方面的优势。可用性 支持高吞吐量的事件发布和消费。支持服务Serverless化和自动弹性伸缩，轻松应对突发流量。支持无状态实例，节点异常对服务无影响，服务可用性高。...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版 的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.17及以上）说明 您可通过如下语句查看 PolarDB ...
WAL日志并行回放
本文介绍了 PolarDB PostgreSQL版（兼容Oracle）的WAL日志并行回放功能。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
为RAM用户授权
应用场景 企业A购买了 事件总线EventBridge 服务，企业A的员工需要操作这些服务所涉及的资源，例如事件规则、事件总线（EventBus）等资源。由于每个员工的工作职责不一样，需要的权限也不一样。具体场景说明如下：出于安全或信任的考虑，...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
跨云账号授权
背景信息 企业A购买了 事件总线EventBridge 服务来开展业务，并希望将部分业务授权给企业B。需求说明：A希望能专注于业务系统，仅作为资源Owner，而事件发布等任务委托或授权给企业B。企业A希望当企业B的员工加入或离职时，无需做任何权限...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
Ganos并行创建空间索引
PolarDB PostgreSQL版（兼容Oracle）提供了Ganos并行创建空间索引功能，本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速，您可通过本章节的内容体验千万级时空数据创建空间...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。背景信息 物化视图(Materialized View)是一个包含查询结果的数据库对象。与普通的视图不同，物化视图不仅保存视图的定义，还保存了 创建物化视图 时的数据副本。当物化视图的数据与视图...
通过EventBridge将MNS投递事件发送至钉钉
本文为您介绍如何通过事件总线EventBridge的投递功能，将配置审计投递至消息服务MNS的投递事件发送至钉钉。前提条件 请确保您已开通事件总线EventBridge。具体操作，请参见 开通事件总线EventBridge并授权。请确保您已开通消息服务MNS。...
创建物化视图的跨机并行加速和批量写入
本文介绍创建物化视图的跨机并行加速和批量写入功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.6.6.0及以上）PostgreSQL 11（内核小版本1.1.30及以上）说明 您可通过如下语句查看 PolarDB ...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
隔离损坏的本地盘
背景信息 隔离损坏的本地盘仅支持大数据型实例，隔离损坏的本地盘系统事件包括以下事件：本地磁盘出现损坏告警（Disk:ErrorDetected）因系统维护隔离坏盘（SystemMaintenance.IsolateErrorDisk）因系统维护重启实例并隔离坏盘...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
Workers
每个Worker创建一组并行线程中的Tasks，并完成复制数据的工作。Workers中的Tasks不存储状态，可以随时启动、停止或重新启动。SAE将提供弹性和可扩展的数据管道，通过CPU或者Memory水位阈值判断并在指定范围内自动进行弹性扩缩，满足Workers...
- 产品推荐
- 这些文档可能帮助您