并行查询Hint语法
对于名称为win的窗口函数，通过串行方式计算-对于其他窗口函数，通过在partition by key上分布做并行计算 并行Order by 通过 PQ_ORDERBY 指定排序操作的执行方式：/*+PQ_ORDERBY(strategy)*/其中参数说明如下所示：参数 说明 strategy 数据...
产品规格
超级计算集群（SCC）实例还针对E-HPC多机并行计算需求，提供了低延时RDMA网络互联。SCC实例 实例类型 实例规格 计算配置 网络配置 存储配置 推荐应用场景 高主频+低延时网络 ecs.scchfg6.20xlarge 处理器：3.1 GHz主频的Intel ® Xeon ® ...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
混合负载HTAP
这种方式也称为MPP并行计算（Massively Parallel Processing，简称MPP）。目前只有 PolarDB-X 只读实例默认开启了MPP并行计算能力。查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
ST_Union
并行度范围为 1~64，格式为JSON字符串，例如 '{"parallel":4}' 代表开启并行计算同时并行度为4，默认为空 '{}'，即串行执行。描述 输出类型可以是Multi类型或GeometryCollection类型。该函数有两种形式：形式1：输入参数是两个Geometry对象...
ST_Union
并行度范围为 1~64，格式为JSON字符串，例如 '{"parallel":4}' 代表开启并行计算同时并行度为4，默认为空 '{}'，即串行执行。描述 输出类型可以是Multi类型或GeometryCollection类型。该函数有两种形式：形式1：输入参数是两个Geometry对象...
ST_Union
并行度范围为 1~64，格式为JSON字符串，例如 '{"parallel":4}' 代表开启并行计算同时并行度为4，默认为空 '{}'，即串行执行。描述 输出类型可以是Multi类型或GeometryCollection类型。该函数有两种形式：形式1：输入参数是两个Geometry对象...
基本概念
通过Serverless工作流，您可以用顺序、分支、并行等方式来编排分布式任务，以确保流程按照设定好的顺序可靠地协调任务执行。分布式任务 Serverless工作流中的分布式任务可以是函数、已集成云服务的API、运行在虚拟机或容器上的程序。流程...
测试SCC集群性能
针对E-HPC多机并行计算需求，SCC可以提供低延时RDMA网络互联，同时提供VPC网络隔离能力；SCC实例无虚拟化损耗，您可以直接访问硬件资源。因此，SCC适合仿真制造、生命科学、机器学习、大规模分子动力学和气象预报等应用场景。SCC实例与普通...
并行计划
因为每个工作者只执行完成计划的并行...在执行一个并行计划时，可以用 EXPLAIN(ANALYZE,VERBOSE)来显示每个计划节点在每个工作者上的统计信息。这些信息有助于确定是否所有的工作被均匀地分发到所有计划节点以及从总体上理解计划的性能特点。
弹性并行查询（ePQ）发布说明
技术原理 弹性并行查询（ePQ）的目标是打通节点间的计算资源，基本原理是将一个复杂查询任务拆分为多个子任务，子任务可以被派发到同集群内的任意节点来完成计算，从而有效利用集群内其它节点的空闲计算资源（CPU、内存等）来加速查询。...
列存索引技术架构介绍
在存储层将数据分片到不同的线程上，由多个线程并行计算，并将结果流水线汇总到总线程。最后，总线程做简单归并返回给用户，以提高查询效率。并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级...
应用场景
GPU计算的处理优势在于拥有众多专用的并行计算单元以及超高的显存带宽，让多路大规模数据搬移和快速并行计算成为典型的计算模式，但该模式也导致了每路数据的处理延迟增加。在具有低延迟需求的在线业务场景中，例如语音识别等，在Batch值较...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
UpdateJob
ExecuteMode String 是 standalone 任务执行模式，目前支持以下几种任务执行模式：单机运行：standalone 广播运行：broadcatst 并行计算：parallel 内存网格：grid 网格计算：batch 分片运行：shard Content String 否 echo 'hello' 任务...
PolarDB处理TPC-H查询的挑战和机遇
Small Group-By Keys 在做hash aggregation时，如果group by key的NDV（唯一值个数）很小，可以用一个较小范围的整数值来覆盖，这样可以使用一个连续数组来计算aggregation而不是hash table。连续数组cache locality要好很多，可以大幅提升...
免费体验弹性并行查询ePQ
8.0版本重磅推出弹性并行查询（Elastic Parallel Query，ePQ）：将一个复杂查询任务拆分为多个子任务，子任务可以被派发到同集群内的任意节点并发完成计算，从而有效利用集群内其他节点的空闲计算资源（CPU、内存等）来加速查询，使查询...
基本概念
云服务器ECS免去了您采购IT硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。什么是云服务器ECS 弹性容器实例（ECI实例）弹性容器实例ECI是阿里云结合容器和Serverless...
创建物化视图的跨机并行加速和批量写入
当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行执行视图定义中的查询，提升计算资源和带宽的利用率。批量写入：不再将扫描到的每一个...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
创建物化视图的跨机并行加速和批量写入
当需要扫描或写入的数据量较大时，能够显著提升上述DDL语法的性能，缩短执行时间：ePQ并行扫描：通过ePQ功能，利用多个计算节点的I/O带宽和计算资源并行执行视图定义中的查询，提升计算资源和带宽的利用率。批量写入：不再将扫描到的每一个...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版（兼容Oracle）将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您...
PyODPS概述
如果后续操作的都是本地的DataFrame，则丧失了MaxCompute 的大规模并行计算能力，且数据量稍大时，单机内存就很容易产生OOM。提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到...
最佳实践
简介 当查询使用ePQ特性时，PolarDB PostgreSQL版 将通过ePQ优化器，生成能够被多个计算节点并行执行的执行计划。ePQ的执行引擎将在多个计算节点上协调执行该计划，同时利用多个节点的CPU、内存、I/O带宽来扫描、计算数据。您可以通过GUC...
迁移方案
本文为您介绍阿里云实时计算Blink独享或共享集群（Blink计算引擎和Bayes开发平台）的业务迁移至实时计算Flink全托管（Flink计算引擎VVR和开发平台VVP）时的迁移限制、迁移方案和常见问题。迁移限制 由于Blink作业的State和Flink的State无法...
调整实例WRITESET相关参数
您可以通过开启WRITESET模式，设置 binlog_transaction_dependency_tracking 和 transaction_write_set_extraction 参数来控制事务的冲突检测机制，以便提高备库回放并行度，降低主从延迟。WRITESET简介 MySQL默认的基于主库组提交来判断...
语雀
本文介绍如何通过函数计算，解决语雀CPU密集场景下，进程被阻塞等问题。客户介绍 语雀是一个专业的云端知识库，用于团队的文档协作。现在已经是阿里巴巴员工进行文档编写和知识沉淀的标配，并于2018年开始对外提供服务。客户痛点 语雀是...
语雀
本文介绍如何通过函数计算，解决语雀CPU密集场景下，进程被阻塞等问题。客户介绍 语雀是一个专业的云端知识库，用于团队的文档协作。现在已经是阿里巴巴员工进行文档编写和知识沉淀的标配，并于2018年开始对外提供服务。客户痛点 语雀是...
任务编排
您可以使用顺序、分支和并行等方式来编排 函数计算 任务，Serverless工作流 会按照设定好的步骤可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行您定义的重试逻辑，以确保工作流任务顺利完成。本文介绍如何配置异步任务编排。...
如何优化Batch Insert
场景二：并行度 判断并行度是否合适的标准是将 PolarDB-X 数据节点的CPU使用率压满或将IOPS打满，以达到较好性能，因为Batch Insert语句基本无计算，所以 PolarDB-X 计算节点开销不大，主要开销在 PolarDB-X 数据节点。并行度过小或者过大...
Cromwell 工作流引擎支持
Cromwell 是 Broad Institute 开发的工作流管理系统，当前已获得 阿里云批量计算服务 的支持。通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业（Job）运行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
2021年
跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete，包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数，开启或关闭该功能，默认值为false。设置为true时，表示开启并行delete功能。设置为false时，表示...
- 产品推荐
- 这些文档可能帮助您