任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
Map模型
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
MapReduce模型
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
任务管理
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
技术架构
HTAP 随着移动互联网和Iot设备的普及，数据会产生爆炸式的增长趋势，传统的OLTP和OLAP的解决方案是基于简单的读写分离或者ETL模型，将在线库的数据T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本...
安装ACCL库
ACCL提供了对PyTorch、Horovod 等深度学习框架以及数据并行、模型并行等主流并行训练模式的支持，便于深度学习用户快速使用。ACCL的关键特性包括：异构拓扑感知，例如节点内PCIE与NVLink/NVSwitch、节点间多轨RDMA网络，分层混合算法设计，...
部署前检查
在安装隐私计算节点前，需要对节点环境进行检查。本文从机器配置建议、服务器相关操作两个方面，对节点环境的检查内容进行介绍。机器配置建议 本章从单节点资源配置和操作系统两个方面对机器配置提出相关建议。单节点资源配置 关于隐私计算...
灵骏常见问题
在并行度极高的大规模计算场景，比如自然语言处理、自动驾驶模型训练、推荐引擎等，相比普通GPU托管服务可以减少训练的时间和成本，建立更大、更复杂的模型。开通集群后，是否需要安装GPU驱动？灵骏计算节点的操作系统镜像中已包含GPU驱动...
PolarDB HTAP实时数据分析技术解密
该方法的优点为：计算模型简单直接，通过把不同物理算子抽象为迭代器。每一个算子只关注其内部逻辑，各个算子之间的耦合性降低，从而比较容易写出一个逻辑正确的执行引擎。IMCI执行引擎中，每个Operator使用迭代器函数来访问数据。不同的是...
列存索引技术架构介绍
在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户，以提高查询效率。并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB处理TPC-H查询的挑战和机遇
Oracle近期也推出了其云上的Heatwave service（RAPID），本质就是一个分布式的in-memory column store，利用Oracle一些特殊的硬件优化技术配合列存的向量化和压缩态计算来实现高性能计算，以及利用in-memory的Binlog快速同步来支持一致性...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for ...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
PolarDB并行查询
两个阶段没有重叠，这样就实现了全阶段的并行，但Parallel Hash join也有自身的问题，例如：共享Hash Table过大导致spill to disk问题，并行插入虽然无锁，但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...
API详情
模型局限：模型主要使用开源的英文数据进行训练，因此中文的表征能力可能不太理想 模型概览 模型中文名 模型英文名 数据类型 向量维度 ONE-PEACE通用表征模型 multimodal-embedding-one-peace-v1 float(32)1536 SDK使用 前提条件 已开通...
API详情
模型局限：模型主要使用开源的英文数据进行训练，因此中文的表征能力可能不太理想 模型概览 模型中文名 模型英文名 数据类型 向量维度 ONE-PEACE通用表征模型 multimodal-embedding-one-peace-v1 float(32)1536 SDK使用 前提条件 已开通...
批处理接口API详情
在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力往往成为瓶颈，一方面客户高频的调用同步接口给客户带来了额外的复杂性，另一方面大量的文本内容计算可能会触发...
大模型技术服务内容说明
1.服务概述 1.1 服务说明 大模型应用咨询服务 根据客户的业务诉求，基于大模型的相关应用场景进行整体规划设计和咨询类服务。大模型工程技术服务 覆盖从场景设计、数据和素材整理准备、产品部署培训、测试和应用推广全过程。基于提示词工程...
一站式HTAP服务
PolarDB PostgreSQL版 提供了弹性跨机并行查询（ePQ），能够在行存数据格式上充分利用多个节点的计算资源和I/O带宽，透明地完成轻量级的分析型查询。此外，PolarDB PostgreSQL版 还提供了一站式HTAP云服务，通过简单的SQL就可以将OLTP引擎...
批处理接口API详情
在建库/更新库操作的时候，用户需要对大量的文本内容计算通用文本向量并且批量的进行更新，在这个场景下，同步接口的服务能力往往成为瓶颈，一方面客户高频的调用同步接口给客户带来了额外的复杂性，另一方面大量的文本内容计算可能会触发...
控制台发布记录
和 购买包年包月集群 2022年07月 功能名称 功能描述 发布时间 相关文档 新增弹性并行查询（ePQ）弹性并行查询可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。...
并行查询性能
具体来说，在存储层仍然将数据分片到不同的线程上，多个线程并行计算，并可能分发到下一个阶段的并行Worker组中，最终并行计算结果汇总到Leader并返回给用户，大幅提升了并行执行能力。并行查询利用多核CPU的并行处理能力，以8核32 GB 独享...
获取平台模型最新状态
通过将平台最新的模型下拉到本地，防止插件里的模型缓存与平台模型存在不同步的情况导致问题。通常BizWorks Toolkit插件内部会在需要的时候（例如上报前）自动获取更新，但您仍可以在平台有改动后立即操作更新，以查看最新的平台模型信息和...
2021年
跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为...
同步平台模型到本地代码
本文介绍三种不同的方式，将平台模型与本地代码不一致的部分以平台模型为准同步到本地。方式一：通过QuickFix对当前文件部分同步 BizWorks Toolkit插件会对编辑中文件做即时检查，在通过检查后的QuickFix列表中，选用适合的操作将平台模型...
文档修订记录
运维中心 运维大屏功能改版，支持展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维...
跨机并行查询
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。关于更多跨机并行...
计算模型的开通地域
本文为您介绍MaxCompute支持的每种计算模型在各地域的开通情况。地域 SQL MapReduce Hologres Spark PyODPS Mars MaxFrame 华北2（北京）华东1（杭州）华东2（上海）华南1（深圳）西南1（成都）华北3（张家口）华北6（乌兰察布）中国（香港...
ST_UnaryUnion
并行度范围为 1~64，格式为JSON字符串，例如 '{"parallel":4}' 代表开启并行计算同时并行度为4，默认为空 '{}'，即串行执行。示例 select st_area(st_union(geom))from tableA where id=1;select st_area(st_union(geom,0.005))from tableA...
并行操作
UDF内部并行操作技术可以应用于单个UDF对象的操作过程，通过多个CPU并行计算UDF对象中的子集内容，从而降低整个UDF对象的操作时间。每个子集内容均独立运行，当所有的子集执行完成，整个UDF操作过程同时也结束。并行度参数 如果支持并行...
并行操作
UDF内部并行操作技术可以应用于单个UDF对象的操作过程，通过多个CPU并行计算UDF对象中的子集内容，从而降低整个UDF对象的操作时间。每个子集内容均独立运行，当所有的子集执行完成，整个UDF操作过程同时也结束。并行度参数 如果支持并行...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
- 产品推荐
- 这些文档可能帮助您