Spark
例如：%spark case class People(name:String,age:Int)var df=spark.createDataFrame(List(People("jeff",23),People("andy",20)))df.createOrReplaceTempView("people")%spark.sql select*from people Spark SQL解释器还支持并行运行，即...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
如何备份RDS只读实例
常见问题 Q：通过内网IP配置的备份计划出现连接源实例失败的情况，可能原因及解决方法是什么？A：可能原因：本文方法二中的IP是一个即时的内网IP，当只读实例发生克隆、迁移可用区、切换VPC、切换交换机时，即时内网IP可能会发生变化，从而...
RDS MySQL只读实例逻辑备份
常见问题 Q：通过内网IP配置的备份计划出现连接源实例失败的情况，可能原因及解决方法是什么？A：可能原因：本文方法二中的IP是一个即时的内网IP，当只读实例发生克隆、迁移可用区、切换VPC、切换交换机时，即时内网IP可能会发生变化，从而...
创建向量索引
说明 云原生数据仓库AnalyticDB PostgreSQL版 对于异步向量索引构建模式提供了并发构建能力，可以通过GUC参数 fastann.build_parallel_processes 来设置并行构建索引的并发度。例如，在DMS上异步构建索引可以采用如下方式：假设在8C32GB的...
2022年
PLV8 2022年9月 支持登录登出触发器 登录登出触发器是一种事件触发器，提供了可以在用户登录/登出时触发指定函数或存储过程的功能。登录登出触发器 2022年9月 批量写入支持全部写到缓存 新增 polar_enable_strat_bulkwrite 参数，用于控制...
计算层变量
CHUNK_SIZE 否 1024[1-10240]设置执行器每次计算的批次大小。ENABLE_SORT_MERGE_JOIN 否 TRUE[TRUE|FALSE]优化查询计划过程中是否禁止MergeJoin节点生成。ENABLE_BKA_PRUNING 否 TRUE[TRUE|FALSE]是否开启BKAJoin的裁剪功能。ENABLE_SPM 否...
pgvector兼容模式使用指南
同时 AnalyticDB PostgreSQL版 向量数据库在优化器和执行器层面打通了混合查询计划生成与混合查询执行算子，具备非常完备的混合查询能力，而原生pgvector基本不具备混合查询的能力（只能通过分区等手段实现简单的场景）。AnalyticDB ...
数据导入常见问题
desired_concurrent_number：Routine Load导入作业时为单个导入作业设置较高的期望任务并行度，默认值为3。如果还未创建导入作业，则需要在执行 CREATE ROUTINE LOAD 时，设置该参数。如果已经创建导入作业，则需要在执行 ALTER ROUTINE ...
使用pg_dump和pg_restore将自建PostgreSQL数据库迁移...
如果您的自建PostgreSQL数据库所在的服务器是阿里云云服务器ECS，则推荐将目标RDS PostgreSQL实例创建在与云服务器ECS相同的地域，使用同一个VPC，迁移数据时使用内网连接更快更安全。RDS PostgreSQL实例已配置白名单，允许自建PostgreSQL...
创建EMR MR节点
在EMR任务开发中，通过创建EMR（E-MapReduce）MR节点，可将大规模数据集分为多个Map任务以并行处理，加速数据集的并行运算。本文将以创建EMR MR节点实现从OSS中读取文本，并统计文本中的单词数为例，为您展示EMR MR节点的作业开发流程。...
并行查询配置参数说明
说明 PolarDB 优化器可能会对主查询和子查询分别并行执行，如果同时并行执行，它们的最大Worker数不能超过 max_parallel_degree 的值，整个查询使用的Worker数为主查询和子查询使用的Worker数之和。parallel_degree_policy Global 设置单个...
并行计划
相反，计划的并行部分一定被查询优化器在内部当作一个 部分计划，即它必须被构建出来，这样每一个执行该计划的进程将以无重复地方式产生输出行的一个子集，即保证每一个所需要的输出行正好只被一个合作进程生成。通常，这意味着该查询的...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
并行DDL
多核处理器的发展为并行DDL使用更多线程数提供了硬件支持，而固态硬盘（Solid State Disk，简称SSD）的普及使得随机访问延迟与顺序访问延迟相近，使用并行DDL加速大表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads ...
8.0.1和8.0.2版功能对比
PolarDB for MySQL 8.0.1版和8.0.2版在功能上存在一些差异，包括Warm Buffer Pool、Hash Join、弹性并行查询、执行器增强、优化器增强、分区表、多主集群（库表）、Blink Tree等方面的差异。本文介绍这两个版本的功能区别，以便您基于业务...
软件概述
E-HPC提供了业界主流的科学计算应用、编译器运行时库、MPI通信库等软件，本文介绍E-HPC支持的软件，以及相关软件的应用场景等。E-HPC软件栈 本文列出支持自动部署的软件，您也可以通过自定义镜像的方式自行部署其他需要的软件。软件列表 ...
常见问题
本文介绍云连接器（Cloud Connector）相关常见问题。什么是物联网？什么是云连接器？为什么选择云连接器？云连接器的使用场景及操作指导？使用云连接器有哪些注意事项？什么是物联网？物联网IoT（Internet of Things）是基于互联网、传统...
使用场景
何时会用到并行查询 有几种设置会导致查询规划器在任何情况下都不生成并行查询计划。为了让并行查询计划能够被生成，必须配置好下列设置。max_parallel_workers_per_gather 必须被设置为大于零的值。这是一种特殊情况，更加普遍的原则是...
高性能能力
PolarDB PostgreSQL版（兼容Oracle）的高性能特点主要通过跨节点并行执行能力和优化器来体现。HTAP跨节点并行执行能力 PolarDB PostgreSQL版（兼容Oracle）支持分析型查询，通过分布式并行计算技术，多个RO点并行执行SQL查询，充分发挥共享...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_parallel_workers 为单个节点内允许同时运行的最大并行worker线程数，超过 max_parallel_workers 后新的...
应用实践：Transformer模型训练加速
说明 由于预训练利用iterator读取数据，这里需要导入mpu来做数据并行。from megatron import mpu from transformers import BertConfig,BertForPreTraining from rapidformer import RapidformerEngine,get_args,PreTrainer from rapi...
常见问题
如果您有配置多Hive MetaStore、多MySQL的需求，或默认提供的连接器不包含您想要使用的服务时，您可以使用EMR Trino提供的5个占位连接器，即connector1~connector5，您可以选择其中任意一个，将其 connector.name 配置为hive或您所需要的...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表：ePQ优化器能够产生多进程并行写入OSS外部表的执行计划，ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表：ePQ优化器能够产生多进程并行写入OSS外部表的执行计划，ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版 的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表：ePQ优化器能够产生多进程并行写入OSS外部表的执行计划，ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行查询OSS外部表...
CREATE FUNCTION.AGGREGATE USING type_name
通过聚合并行从属中的行子集生成的聚合上下文被发送回下一个并行步骤（查询协调器或下一个从集）。调用Merge例程来合并聚合上下文，最后调用Terminate例程获取聚合值。调用流程如下：处理大型聚合上下文 当使用外部语言（如C或Java）实现...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
ANALYZE分析工具
原理介绍 在ePQ优化器产生的分布式并行查询计划中，计划树中的每个算子可能被多个PX Worker执行。例如，一个 Seq Scan 计划节点会被多个PX Worker执行，每个PX Worker负责扫描一部分数据。因此，相比于现有的 EXPLAIN ANALYZE 工具，PX的 ...
混合负载HTAP
查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing）类事务型查询包含的表数量通常有限（例如3个以内），并且Join条件往往被索引覆盖，且查询涉及的数据量较小。而对于不符合上述特征...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版 将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您可以通过GUC...
2021年
该参数可以为单条查询分配指定倍的核心数量、提升计算并行度，并通过优化器对查询进行进一步优化。该参数在低QPS场景下，对于执行时间较长（超过3秒）的计算密集型查询有线性提升，典型场景为单表聚合查询（TPCH Q1、Q6）、大表与小表的...
SELECT
说明 自定义并行度必须为大于等于1的整数，如果自定义并行度超过默认最大并行度，则采用默认最大并行度。当您不知道并行度设置成多少合适时，建议不指定并行度，系统将自动采用最优的并行度。常见问题 Q：什么情况下，查询语句被认为是低效...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
- 产品推荐
- 这些文档可能帮助您