UpdateJob
ExecuteMode String 是 standalone 任务执行模式，目前支持以下几种任务执行模式：单机运行：standalone 广播运行：broadcatst 并行计算：parallel 内存网格：grid 网格计算：batch 分片运行：shard Content String 否 echo 'hello' 任务...
PyODPS概述
如果后续操作的都是本地的DataFrame，则丧失了MaxCompute 的大规模并行计算能力，且数据量稍大时，单机内存就很容易产生OOM。提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到...
查询执行器介绍
单机并行（AP_LOCAL）：查询过程中会利用节点的多核资源做并行计算，如果您没有配置只读实例，针对AP负载的查询，往往会采用这种执行模式，一般也称之为Parallel Query模式。多机并行（MPP）：您如果配置了只读实例，针对AP负载的查询，...
PolarDB HTAP实时数据分析技术解密
在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单归并返回给用户。并行查询的加入使得PolarDB突破了单核执行性能的限制，利用多核CPU的并行处理能力，PolarDB部分SQL查询耗时成指数级...
列存索引技术架构介绍
在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户，以提高查询效率。并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版（兼容Oracle）具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署...
PolarDB处理TPC-H查询的挑战和机遇
利用向量化技术以及基于SIMD指令集的计算原语，实现高效的算子内并行，提升算子执行效率。Oracle近期也推出了其云上的Heatwave service（RAPID），本质就是一个分布式的in-memory column store，利用Oracle一些特殊的硬件优化技术配合列存...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
性能调优
DLA是分布式计算系统，系统对每个Tablestore表按照一定的规则进行分片（split），各个分片之间相互不重合，计算层并行执行这些分片，从而提高计算并行度。指定单个分片的大小 通过 ots-split-unit-mb=<分片值>指定单个分片的大小，分片值的...
PolarDB并行查询
PQ1.0 最早发布的并行查询能力，其基本的思路是计算的下推，将尽可能多的计算分发到多个worker上并行完成，这样像IO这样的重操作就可以同时进行，但和一般的share-nothing分布式数据库不同，由于底层共享存储，PolarDB 并行中对于数据的分...
2021年
并行查询 排序加速计算 当您执行 SORT后，系统会对表数据进行排序，当数据完成排序后，AnalyticDB PostgreSQL 即可利用数据的物理顺序，将SORT算子下推到存储层进行计算加速。该特性可以基于SORT KEY加速SORT、AGG、JOIN算子。排序加速计算...
计算资源
切分和并行计算：同上述“切分和并行计算”说明。除以上五点外，常见计算资源风险点还有“资源相互影响”、“资源节点崩溃”、“依赖服务异常”、“服务进程无响应”、“数据格式异常”、“证书过期”等。可以使用资源隔离、配额控制、多...
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
查看消费明细
0-N代表分析步骤有多个并行执行的计算作业，该数字对应该计算作业的编号。1：该计算的重试次数。基因分析平台的智能调度，对可恢复的失败作业自动重试，次。计费项：运行任务中的计算作业具体使用的平台资源类型，包括vCPU、内存、实例规格...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
2021年
2021年5月 内核小版本（V1.1.12）类别 名称 描述 相关文档 新增 跨机并行查询 支持跨机并行查询计算引擎：支持多个只读节点分布式地执行SQL查询，加速 PolarDB PostgreSQL版（兼容Oracle）的查询性能。支持通过跨机并行查询加速构建索引，...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版 将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您可以通过GUC...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
创建物化视图的跨机并行加速和批量写入
当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行执行视图定义中的查询，提升计算资源和带宽的利用率。批量写入：不再将扫描到的每一个...
创建物化视图的跨机并行加速和批量写入
当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行执行视图定义中的查询，提升计算资源和带宽的利用率。批量写入：不再将扫描到的每一个...
验证分析型查询请求能力
OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过数据分片和任务分片实现了数据和计算的并行处理。在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
什么是云数据库ClickHouse
多核并行计算。向量化计算引擎。支持嵌套数据结构。支持稀疏索引。更多关于 云数据库ClickHouse 的信息，请参见 ClickHouse官网 和 ClickHouse文档。产品架构 企业版架构 云数据库ClickHouse 企业版采用云原生存储与计算资源分离架构打造，...
StarRocks概述
通过列式的内存布局、适配CPU的SIMD指令集等手段，充分发挥了现代CPU的并行计算能力，从而实现亚秒级别的多维分析能力。智能查询优化 StarRocks通过CBO优化器（Cost Based Optimizer）可以对复杂查询自动优化。无需人工干预，就可以通过...
产品架构
HQE（Hologres Query Engine）Hologres自研执行引擎，采用可扩展的MPP架构全并行计算，向量化算子发挥CPU极致算力，从而实现极致的查询性能。（QE主要由HQE组成）。PQE（Postgres Query Engine）用于兼容Postgres提供扩展能力，支持PG生态...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
客户案例
张炜宇 阿里妈妈基础共享技术开发平台总监“OceanBase 很好的满足了我们广告业务对于存储系统扩展性，并行计算，统计计算，高吞吐，低时延，资源隔离等大数据处理的需求，在报表业务的演进中帮助我们建立了一套业务和平台分离，面向效果...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的执行分为1个leader线程和多个worker线程，worker线程负责并行计算，leader线程负责汇聚结果并返回。一个查询语句中并不是所有算子都能下推到worker上执行，部分算子会留在leader上执行，如果留在leader上执行的算子比较耗时，就...
PolarDB MySQL版8.0.2版本发布日志
2023-12-20 问题修复 修复当derived table中存在ROLLUP计算时，对derived table进行并行扫描可能造成节点崩溃的问题。修复在创建OSS外表时，用户自定义CONNECTION连接格式有误导致节点崩溃的问题。修复RO节点的物理机出现故障时，RW节点在...
产品优势
本文介绍云原生关系型数据库 PolarDB PostgreSQL版（兼容Oracle）的...跨机并行查询 支持跨机并行查询计算引擎，多个节点跨机并行执行SQL，充分发挥所有计算节点的CPU、内存、网络的硬件资源，加速 分析型查询性能。具体可参见 跨机并行查询。
并行查询Hint语法
对于名称为win的窗口函数，通过串行方式计算-对于其他窗口函数，通过在partition by key上分布做并行计算 并行Order by 通过 PQ_ORDERBY 指定排序操作的执行方式：/*+PQ_ORDERBY(strategy)*/其中参数说明如下所示：参数 说明 strategy 数据...
高性能版实例
以下内容为 AnalyticDB PostgreSQL版 实例常见故障场景中高性能版和高可用版的对比：恢复（Recovery）模式 根据以往 AnalyticDB PostgreSQL版 运行情况，故障最大的场景为恢复模式，故障概率远大于另外两种场景（计算节点故障和计算节点宿...
灵骏常见问题
最适合GPU的计算类型是可以并行完成的计算，您可以使用并行编程方法和GPU加速计算。而神经网络是高度并行的，非常适合用GPU进行计算。最典型的例子比如卷积，每个卷积计算都独立于其他卷积计算，这意味着任何计算都不依赖于其他计算的结果...
故障复盘
故障复盘规范 故障复盘作为故障体系中的重要一环，整体复盘流程包括故障处理过程、改进分析、故障定责，基于包含标准化的复盘SOP、对应预防action推荐、问责管理机制，全面地回溯线上故障的发生，产出故障复盘报告和改进措施，避免故障重复...
计算节点范围选择与并行度控制
本文介绍了弹性跨机并行查询（ePQ）如何进行计算节点范围选择以及并行度控制。前提条件 支持的的版本如下：PostgreSQL 11（内核小版本1.1.20及以上）PostgreSQL 14（内核小版本14.6.6.0及以上）说明 您可通过如下语句查看的内核小版本的...
计算节点范围选择与并行度控制
本文介绍了弹性跨机并行查询（ePQ）如何进行计算节点范围选择以及并行度控制。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.20及以上）PostgreSQL 14（内核小版本14.6.6.0及以上）说明 您可通过如下...
CPFS并行文件存储
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
- 产品推荐
- 这些文档可能帮助您