扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
PolarDB并行查询
Parallel Hash join在build/probe两个阶段均做了并行支持：build阶段，多个worker向同一个共享的lock-free Hash Table中插入数据。probe阶段，多个worker并行到Hash Table做搜索。两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel ...
技术原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processingy，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
AliSQL内核小版本发布记录
AliSQL是RDS MySQL的内核，除了为用户提供MySQL社区版的所有功能外，还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能，赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
深度解析PolarDB数据库并行查询技术
因为每个WORKER的GROUP BY操作已经是最终结果，所以还可以将ORDER BY和LIMIT也下推到WORKER来执行，进一步提升了并行执行的效率。并行查询引擎对TPCH的线性加速 下图是一个并行查询引擎对TPCH的加速效果，TPC-H中100%的SQL可以被加速，70%...
快速开始
设置阈值控制优化器是否选择并行执行 PolarDB 提供了两个阈值来控制优化器是否选择并行执行，SQL语句只要满足其中任意一个条件，优化器就会考虑并行执行。records_threshold_for_parallelism 若优化器估算出语句中存在扫描记录数超过该阈值...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
OOM常见问题排查指南
UnionALL 如下所示，当SQL中含有大量 union all subquery 时，执行器会并行处理每个 subquery，导致内存压力变大，从而出现OOM。subquery1 union all subquery2 union all subquery3.可以通过如下参数强制执行器串行，减少OOM情况，但查询...
Semi-Join的并行加速
IN SELECT*FROM Employee WHERE DeptName IN(SELECT DeptName FROM Dept)EXISTS SELECT*FROM Employee WHERE EXISTS(SELECT 1 FROM Dept WHERE Employee.DeptName=Dept.DeptName)并行Semi-Join性能提升 对于...-Join所有策略实现了并行加速...
并行步骤
本文介绍了并行步骤和相关使用示例。介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤...
数字翻牌器
var value=Math.random()*10000 return[{"name":"","value":12345+value }]序列执行节点：首先将数据保存为临时变量，接着将两个数字翻牌器进行加法运算，导入显示组件中。变量A return { data:[{ name:"up",value:data[0].value|0 }]};...
并行循环步骤
本文介绍了并行循环步骤和其相关使用示例。介绍 并行循环（Foreach）步骤遍历输入中的某个数组类型参数，对于数组中的每个元素并行执行其串行步骤。并行循环步骤类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。并行循环...
PolarDB MySQL版8.0.2版本性能（集群版）
PolarDB MySQL版 8.0.2版本优化增强了并行查询和Hash Join能力。并行查询：并行查询重磅升级到2.0版本，对复杂分析查询进行了更全面的支持。多阶段的执行框架，SQL语句被拆解为多个计算算子。每个算子可以分布到多个worker上并行完成，算子...
PolarDB MySQL版8.0.2版本发布日志
修复使用polar_abbrev_sort_key_size参数控制排序操作时，写坏内存的问题。修复在主键不包含分区键的分区表上执行等值查询操作，选择唯一键（UK）进行index merge的场景下，只返回第一个分区中的数据的问题。8.0.2.2.20 类别 说明 发布时间...
混合负载HTAP
查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing）类事务型查询包含的表数量通常有限（例如3个以内），并且Join条件往往被索引覆盖，且查询涉及的数据量较小。而对于不符合上述特征...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
并行计划
相反，计划的并行部分一定被查询优化器在内部当作一个 部分计划，即它必须被构建出来，这样每一个执行该计划的进程将以无重复地方式产生输出行的一个子集，即保证每一个所需要的输出行正好只被一个合作进程生成。通常，这意味着该查询的...
SQL调优
每次读取 256 MB 数据太少，导致Instance的执行时间太短，而由于输入数据很大，反而导致了并行度过大，使Instance大多数时间在排队等资源，需要调大单个Instance读取的数据量。解决方案：使用如下命令调大单个并发处理的数据大小。set odps...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
自动优化
写优化的目的是为了提升写数据的吞吐量，它是通过减少被写入的文件数量来实现的，而代价就是降低了并行度。并且由于写优化需要根据表的分区结构来对写入的数据进行额外的shuffle，额外的shuffle势必会引入额外的开销，但写入性能的提升一般...
缓冲区管理
并行刷脏 为进一步提升一致性位点的推进效率，PolarDB 实现了并行刷脏。每个后台刷脏进程会从FlushList中获取一批数据页进行刷脏。热点页 引入刷脏控制之后，仅满足刷脏条件的Buffer才能写入存储。如果某个Buffer修改非常频繁，可能导致...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
什么是GPU云服务器
其作为阿里云弹性计算家族的一员，结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求，例如，在并行运算方面，使用GPU云服务器可显著提高计算效率。为什么选择GPU云服务器 阿里云GPU云服务器是...
VACUUM
对于并行清理，每个处理器的睡眠与该处理器完成的工作成比例。PolarDB包括了一个“autovacuum”工具，它可以自动进行例行的清理维护。示例 清理单一表 onek，为优化器分析它并且打印出详细的清理活动报告：VACUUM(VERBOSE,ANALYZE)onek;
pg_hint_plan
如果第三个参数是soft（默认），表示仅修改max_parallel_workers_per_gather参数的值，由优化器决定实际的并行度。hard表示强制使用其指定的并行度。PX()表示 跨机并行查询 时进行并行查询。说明表示并行度。NoPX()表示针对此查询强制不...
pg_hint_plan
如果第三个参数是soft（默认），表示仅修改max_parallel_workers_per_gather参数的值，由优化器决定实际的并行度。hard表示强制使用其指定的并行度。PX()表示 跨机并行查询 时进行并行查询。说明表示并行度。NoPX()表示针对此查询强制不...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
定制执行计划（pg_hint_plan）
可用的校正方法为绝对值#、加法+、减法-和乘法*。是strtod函数可以读取的数字。并行执行提示 Parallel(table[soft|hard])强制或禁止并行执行指定表。是所需的并行工作程序数量，0表示禁止并行执行。第三个参数如果是soft（默认），表示仅...
ECS系统事件汇总
本文汇总了云服务器ECS支持的系统事件（包括计划内运维事件、非预期运维事件、实例费用事件和实例状态变化事件等），并为各系统事件提供处理建议。说明 如果事件Code列为未定义，例如实例状态改变通知（Instance:StateChange），代表该系统...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着...因此如果你使用该选项，就可能插入坏数据。
基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA ...
基本概念
FPGA云服务器概念 名词 说明 相关文档 FPGA 现场可编程门阵列（Field Programmable Gate Array），具有硬件并行加速能力和可编程特性。什么是FPGA云服务器 FaaS FPGA即服务（FPGA as a Service），阿里云在云端提供的统一硬件平台与中间件...
Workflow示例模板
这将创建一个包含脚本主体的临时文件，然后将临时文件的名称作为命令的最终参数传递，该命令应该是执行脚本主体的解释器。脚本功能的使用还将运行脚本的标准输出分配给名为Result的特殊输出参数。这允许您在其余的工作流规范中使用运行脚本...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
2022年
PLV8 2022年9月 支持登录登出触发器 登录登出触发器是一种事件触发器，提供了可以在用户登录/登出时触发指定函数或存储过程的功能。登录登出触发器 2022年9月 批量写入支持全部写到缓存 新增 polar_enable_strat_bulkwrite 参数，用于控制...
pgvector兼容模式使用指南
同时 AnalyticDB PostgreSQL版 向量数据库在优化器和执行器层面打通了混合查询计划生成与混合查询执行算子，具备非常完备的混合查询能力，而原生pgvector基本不具备混合查询的能力（只能通过分区等手段实现简单的场景）。AnalyticDB ...
RDS MySQL通过专线接入金融云DBS
如果IPsec连接绑定了转发路由器实例，系统自动在IPsec连接下的目的路由表中添加目的路由，路由默认会被发布至IPsec连接关联的转发路由器的路由表中。本端网段 请输入 金融云华东1（杭州）地域的VPC网段、金融云华东1（杭州）地域VPC的...
Flink指标
JM GC Count flink_jobmanager_Status_JVM_GarbageCollector_PS_Scavenge_Count JM年轻代并行回收器运行次数。flink_jobmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Count JM老年代标记-清除回收器运行次数。JM GC Time flink_...
- 产品推荐
- 这些文档可能帮助您