计算资源优化
系统在持续增加适用于云场景的新特性的同时，持续改进内核性能并修复重大缺陷，并且提供针对ECS实例环境定制优化的内核启动参数和系统配置参数 开机启动速度：针对ECS实例环境大幅优化启动速度，在实际测试中，相比其他操作系统约减少60%的...
Spark
例如：%spark case class People(name:String,age:Int)var df=spark.createDataFrame(List(People("jeff",23),People("andy",20)))df.createOrReplaceTempView("people")%spark.sql select*from people Spark SQL解释器还支持并行运行，即...
创建向量索引
说明 云原生数据仓库AnalyticDB PostgreSQL版 对于异步向量索引构建模式提供了并发构建能力，可以通过GUC参数 fastann.build_parallel_processes 来设置并行构建索引的并发度。例如，在DMS上异步构建索引可以采用如下方式：假设在8C32GB的...
2022年
PLV8 2022年9月 支持登录登出触发器 登录登出触发器是一种事件触发器，提供了可以在用户登录/登出时触发指定函数或存储过程的功能。登录登出触发器 2022年9月 批量写入支持全部写到缓存 新增 polar_enable_strat_bulkwrite 参数，用于控制...
混合负载HTAP的实践和优化
路由 智能路由 PolarDB-X 优化器会基于代价分析出查询物理扫描行数、CPU、内存、IO、网络等核心资源消耗量，将请求区分为TP与AP负载。当您在集群地址上开启了智能路由，会主动识别SQL的工作负载类型来做路由，比如将识别为AP负载的流量路由...
创建RAID阵列（Linux）
级别 优势 劣势 适用场景 RAID 0（条带）提供了数据条带化和并行读/写操作，从而提高了性能。说明 RAID条带化是指将数据分成固定大小的块（条带），然后将这些块依次分配到不同的磁盘驱动器上。没有冗余功能，如果其中一块云盘出现故障，...
计算层变量
CHUNK_SIZE 否 1024[1-10240]设置执行器每次计算的批次大小。ENABLE_SORT_MERGE_JOIN 否 TRUE[TRUE|FALSE]优化查询计划过程中是否禁止MergeJoin节点生成。ENABLE_BKA_PRUNING 否 TRUE[TRUE|FALSE]是否开启BKAJoin的裁剪功能。ENABLE_SPM 否...
6.0版本与7.0版本兼容性注意事项
r：可以在并行模式下运行，但是只限于由并行分组的领导者执行的函数。u：在并行模式中不安全的函数，这类函数的存在会强制一个顺序执行计划。新增protrftypes列，存储需要应用转换数据类型的OID。pg_statistic 新增stacoll列，指示统计信息...
pgvector兼容模式使用指南
同时 AnalyticDB PostgreSQL版 向量数据库在优化器和执行器层面打通了混合查询计划生成与混合查询执行算子，具备非常完备的混合查询能力，而原生pgvector基本不具备混合查询的能力（只能通过分区等手段实现简单的场景）。AnalyticDB ...
使用pg_dump和pg_restore将自建PostgreSQL数据库迁移...
如果您的自建PostgreSQL数据库所在的服务器是阿里云云服务器ECS，则推荐将目标RDS PostgreSQL实例创建在与云服务器ECS相同的地域，使用同一个VPC，迁移数据时使用内网连接更快更安全。RDS PostgreSQL实例已配置白名单，允许自建PostgreSQL...
安装Docker并使用（Linux）
RUN mkdir/dtstact#开机启动命令，此处最后一个命令需要是可在前台持续执行的命令，否则容器后台运行时会因为命令执行完而退出。ENTRYPOINT ping www.aliyun.com 按 Esc 键，输入:wq 并按 Enter 键，保存并退出Dockerfile文件。执行以下...
创建EMR MR节点
在EMR任务开发中，通过创建EMR（E-MapReduce）MR节点，可将大规模数据集分为多个Map任务以并行处理，加速数据集的并行运算。本文将以创建EMR MR节点实现从OSS中读取文本，并统计文本中的单词数为例，为您展示EMR MR节点的作业开发流程。...
RDS MySQL通过专线接入金融云DBS
如果IPsec连接绑定了转发路由器实例，系统自动在IPsec连接下的目的路由表中添加目的路由，路由默认会被发布至IPsec连接关联的转发路由器的路由表中。本端网段 请输入 金融云华东1（杭州）地域的VPC网段、金融云华东1（杭州）地域VPC的...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
并行查询配置参数说明
说明 PolarDB 优化器可能会对主查询和子查询分别并行执行，如果同时并行执行，它们的最大Worker数不能超过 max_parallel_degree 的值，整个查询使用的Worker数为主查询和子查询使用的Worker数之和。parallel_degree_policy Global 设置单个...
并行计划
相反，计划的并行部分一定被查询优化器在内部当作一个 部分计划，即它必须被构建出来，这样每一个执行该计划的进程将以无重复地方式产生输出行的一个子集，即保证每一个所需要的输出行正好只被一个合作进程生成。通常，这意味着该查询的...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
并行DDL
多核处理器的发展为并行DDL使用更多线程数提供了硬件支持，而固态硬盘（Solid State Disk，简称SSD）的普及使得随机访问延迟与顺序访问延迟相近，使用并行DDL加速大表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads ...
8.0.1和8.0.2版功能对比
PolarDB for MySQL 8.0.1版和8.0.2版在功能上存在一些差异，包括Warm Buffer Pool、Hash Join、弹性并行查询、执行器增强、优化器增强、分区表、多主集群（库表）、Blink Tree等方面的差异。本文介绍这两个版本的功能区别，以便您基于业务...
软件概述
E-HPC提供了业界主流的科学计算应用、编译器运行时库、MPI通信库等软件，本文介绍E-HPC支持的软件，以及相关软件的应用场景等。E-HPC软件栈 本文列出支持自动部署的软件，您也可以通过自定义镜像的方式自行部署其他需要的软件。软件列表 ...
CREATE AGGREGATE
规划器使用这个值来估计一个分组聚集查询所需的内存。ffunc 最终函数的名称，该函数在所有输入行都被遍历之后被调用来计算聚集的结果。对于一个常规聚集，这个函数必须只接受一个类型为 state_data_type 的单一参数。该聚集的返回数据类型...
高性能能力
PolarDB PostgreSQL版（兼容Oracle）的高性能特点主要通过跨节点并行执行能力和优化器来体现。HTAP跨节点并行执行能力 PolarDB PostgreSQL版（兼容Oracle）支持分析型查询，通过分布式并行计算技术，多个RO点并行执行SQL查询，充分发挥共享...
使用场景
何时会用到并行查询 有几种设置会导致查询规划器在任何情况下都不生成并行查询计划。为了让并行查询计划能够被生成，必须配置好下列设置。max_parallel_workers_per_gather 必须被设置为大于零的值。这是一种特殊情况，更加普遍的原则是...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_parallel_workers 为单个节点内允许同时运行的最大并行worker线程数，超过 max_parallel_workers 后新的...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表：ePQ优化器能够产生多进程并行写入OSS外部表的执行计划，ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版（兼容Oracle）的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表：ePQ优化器能够产生多进程并行写入OSS外部表的执行计划，ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行...
ePQ支持并行写入及查询OSS外部表
PolarDB PostgreSQL版 的弹性跨机并行查询（ePQ）支持并行写入及查询OSS外部表：ePQ优化器能够产生多进程并行写入OSS外部表的执行计划，ePQ执行器将在读写节点上启动多个进程并行写入OSS外部表。ePQ优化器能够产生多进程并行查询OSS外部表...
CREATE FUNCTION.AGGREGATE USING type_name
通过聚合并行从属中的行子集生成的聚合上下文被发送回下一个并行步骤（查询协调器或下一个从集）。调用Merge例程来合并聚合上下文，最后调用Terminate例程获取聚合值。调用流程如下：处理大型聚合上下文 当使用外部语言（如C或Java）实现...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
ANALYZE分析工具
原理介绍 在ePQ优化器产生的分布式并行查询计划中，计划树中的每个算子可能被多个PX Worker执行。例如，一个 Seq Scan 计划节点会被多个PX Worker执行，每个PX Worker负责扫描一部分数据。因此，相比于现有的 EXPLAIN ANALYZE 工具，PX的 ...
混合负载HTAP
查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing）类事务型查询包含的表数量通常有限（例如3个以内），并且Join条件往往被索引覆盖，且查询涉及的数据量较小。而对于不符合上述特征...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
2021年
该参数可以为单条查询分配指定倍的核心数量、提升计算并行度，并通过优化器对查询进行进一步优化。该参数在低QPS场景下，对于执行时间较长（超过3秒）的计算密集型查询有线性提升，典型场景为单表聚合查询（TPCH Q1、Q6）、大表与小表的...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版 将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您可以通过GUC...
Linux系统的ECS实例中启动网卡失败
概述 本文主要介绍在Linux系统的ECS实例中启动网卡失败的解决方案。问题症状 在Linux服务器中，启动网卡提示如下信息。Device eth0 does not seem to be present，delaying initialization 系统显示类似如下。...适用于 云服务器ECS
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
什么是GPU云服务器
其作为阿里云弹性计算家族的一员，结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求，例如，在并行运算方面，使用GPU云服务器可显著提高计算效率。为什么选择GPU云服务器 阿里云GPU云服务器是...
- 产品推荐
- 这些文档可能帮助您