PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版（兼容Oracle）具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
控制台发布记录
和 购买包年包月集群 2022年07月 功能名称 功能描述 发布时间 相关文档 新增弹性并行查询（ePQ）弹性并行查询可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。...
一站式HTAP服务
PolarDB PostgreSQL版 提供了弹性跨机并行查询（ePQ），能够在行存数据格式上充分利用多个节点的计算资源和I/O带宽，透明地完成轻量级的分析型查询。此外，PolarDB PostgreSQL版 还提供了一站式HTAP云服务，通过简单的SQL就可以将OLTP引擎...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能...支持单机执行、广播执行、并行计算、内存网格、网格计算。支持Map和MapReduce分布式编程模型。支持任务实例级别和子任务级别的失败自动重试（默认不重试）。支持数据时间和重刷数据。无
PolarDB HTAP实时数据分析技术解密
该方法的优点为：计算模型简单直接，通过把不同物理算子抽象为迭代器。每一个算子只关注其内部逻辑，各个算子之间的耦合性降低，从而比较容易写出一个逻辑正确的执行引擎。IMCI执行引擎中，每个Operator使用迭代器函数来访问数据。不同的是...
列存索引技术架构介绍
在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户，以提高查询效率。并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级...
PolarDB处理TPC-H查询的挑战和机遇
Oracle近期也推出了其云上的Heatwave service（RAPID），本质就是一个分布式的in-memory column store，利用Oracle一些特殊的硬件优化技术配合列存的向量化和压缩态计算来实现高性能计算，以及利用in-memory的Binlog快速同步来支持一致性...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
PolarDB MySQL版8.0.2版本发布日志
2023-12-20 问题修复 修复当derived table中存在ROLLUP计算时，对derived table进行并行扫描可能造成节点崩溃的问题。修复在创建OSS外表时，用户自定义CONNECTION连接格式有误导致节点崩溃的问题。修复RO节点的物理机出现故障时，RW节点在...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
部署前检查
服务 节点环境 节点类型 服务器配置 数量（个）备注 MPC 测试 训练节点 8 核 16 GB，磁盘空间 500 GB 以上 1 期望多模型并行训练，需增加机器。预测节点 1-生产 训练节点 1 特征维度 100 以上，建设升级配置。预测节点≥2-FL 测试 训练节点...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
常见问题
实际的任务并行度参照如下的计算公式 concurrent_num=Min(Min(partition_num,Min(desired_concurrent_num,alive_be_num)),Config.max_routine_load_task_concurrent_num)。max_batch_interval properties 10s Routine Load任务调度周期。...
技术架构
HTAP 随着移动互联网和Iot设备的普及，数据会产生爆炸式的增长趋势，传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型，将在线库的数据T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本...
任务管理
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
内置时空数据引擎Ganos
提供云上软硬件一体化的遥感影像数据库支持 Ganos支持各类空间栅格型数据的导入导出、拼接、剪切、统计分析等操作，可建模对象包括全色/多光谱/高光谱各类遥感影像、数字高程模型、三维体素模型等，并融合了云上GPU的并行计算加速能力和OSS...
概述
库仓一站式（Zero-ETL）传统数据仓库，会通过数据ETL方式同步数据，采用MPP/BSP等并行计算架构可以很好解决OLAP复杂查询，但面相高并发的数据在线查询（Serving场景）会有明显的资源并发瓶颈，会通过数据回流到OLTP数据库提供在线查询。...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
StarRocks概述
通过列式的内存布局、适配CPU的SIMD指令集等手段，充分发挥了现代CPU的并行计算能力，从而实现亚秒级别的多维分析能力。智能查询优化 StarRocks通过CBO优化器（Cost Based Optimizer）可以对复杂查询自动优化。无需人工干预，就可以通过...
什么是EMR Serverless StarRocks
通过列式的内存布局、适配CPU的SIMD指令集等手段，充分发挥了现代CPU的并行计算能力，从而实现亚秒级别的多维分析能力。智能查询优化 StarRocks通过CBO优化器（Cost Based Optimizer）可以对复杂查询自动优化。无需人工干预，就可以通过...
基于函数计算部署Stable Diffusion实现更高质量的图像...
您可以使用 函数计算 提供的基础Stable Diffusion模型，也可以通过创建模型库上传自定义的Stable Diffusion模型实现定制化创作需求。同时，可以充分利用 函数计算 按需付费，弹性伸缩等优势，高效地为用户提供基于Stable Diffusion模型的...
Persistent Buffer Pool
PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所示：其中，Shared Buffer Pools在 PolarDB PostgreSQL...
Persistent Buffer Pool
PostgreSQL为实现进程间并行计算设计的共享内存区，可以动态扩展。Process Global Area：进程工作使用的内存区。包含以下两部分。Memory Context。逻辑直接控制的内存。内存划分如图所示：其中，Shared Buffer Pools在 PolarDB PostgreSQL...
查询执行器介绍
单机并行（AP_LOCAL）：查询过程中会利用节点的多核资源做并行计算，如果您没有配置只读实例，针对AP负载的查询，往往会采用这种执行模式，一般也称之为Parallel Query模式。多机并行（MPP）：您如果配置了只读实例，针对AP负载的查询，...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
- 产品推荐
- 这些文档可能帮助您