并行查询
以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather ...
并行查询
以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather ...
为什么云原生数据仓库AnalyticDB版的OLAP性能比RDS好...
云原生数据仓库AnalyticDB版为OLAP场景进行了深度的优化，例如列式存储、分布式优化器，块级别的数据压缩，并行的数据导入和导出，弹性扩容，隐式并行的机器学习库MADlib（已经支持），R过程语言（即将推出）等。RDS是为OLTP设计的，不适合...
技术原理
这种方式也称为MPP并行计算。PolarDB-X的优化器面向HTAP负载设计，对复杂查询有着良好的支持。PolarDB-X采用了基于代价的优化器技术，能够根据实际数据量、数据分布情况等，搜索到较优的执行计划，例如，对Join顺序进行调整、选择合适的...
计划加速
这是因为分区表在优化器中的原理可以简单理解为：首先对每个分区生成最优的Plan，然后使用 Append 算子把这些Plan并联起来作为分区表的最优Plan。如果分区表的分区数量较少，这个过程会很快，对于用户是无感知的；但是一旦达到一定规模的...
计划加速
这是因为分区表在优化器中的原理可以简单理解为：首先对每个分区生成最优的Plan，然后使用 Append 算子把这些Plan并联起来作为分区表的最优Plan。如果分区表的分区数量较少，这个过程会很快，对于用户是无感知的；但是一旦达到一定规模的...
弹性并行查询（Elastic Parallel Query）常见问题
当使用/*+SET_VAR(max_parallel_degree=n)*/时，是否并行取决于查询是否路由到RO节点，以及优化器所评估的查询代价和表数据量。更多详情请参见 通过Hint控制。在SQL语句中通过hint设定并行参数与控制台上设置是否有冲突？没有冲突，通过...
什么是推理引擎DeepGPU-LLM
产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性和广泛适用性，旨在优化大语言模型在GPU云服务器上的推理过程，通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。DeepGPU-LLM的关联布局图如下所示：...
使用Environment Modules管理软件包
背景信息 在使用E-HPC集群过程中，经常要安装不同的编译器和库文件，如常用的编译器有GCC和ifort，常用的 MPI并行库有OpenMPI、MPICH2等。在使用某个软件时，通常采用不同的编译设置得到不同版本的可执行程序和链接库，或者需要修改、切换...
使用多机MPP对海量数据分析提速
多机并行执行可以处理多种类型的AP负载，IMCI的优化器可以准确判断出适合查询语句的TP，并选择单机执行AP或多机并行执行AP，最终将查询语句调度到适合的列存节点上。适用场景 通过多机并行的资源弹升能力扩展CPU和IOPS，降低查询时延。通过...
OSS触发器概述
相关文档 配置触发器 关于如何配置和使用原生OSS触发器和EventBridge类别的OSS触发器，请参见 配置原生OSS触发器 和 配置EventBridge类别的OSS触发器。触发器相关问题 如果您希望查看函数的执行触发了哪个事件，可以手动在代码逻辑中打印...
OSS触发器概述
相关文档 配置触发器 关于如何配置和使用原生OSS触发器和EventBridge类别的OSS触发器，请参见 配置原生OSS触发器 和 配置EventBridge类别的OSS触发器。触发器相关问题 如果您希望查看函数的执行触发了哪个事件，可以手动在代码逻辑中打印...
无锁结构变更方案对比
触发器的设计中拷贝数据和变更数据只能并行，无疑将会增加锁竞争。无触发器解耦了源表和目标表的依赖，所以锁竞争也就不复存在。关于目标表上的拷贝和更新时的竞争，我们在逻辑上使用交叉执行的方式避免和降低锁竞争，虽然会影响变更效率，...
典型场景
ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据秒级响应。基于列存储的高性能大表扫描，极高压缩比。在线高性能查询 面对任意维度数据即时探索和数据实时入库更新等挑战，云原生数据仓库AnalyticDB PostgreSQL版 ...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
关键词抽取
开发 基于 布拉 修斯 平板 解 阻力 估算 算法 设计 求解器 Fortran 语言 上 移 植 Python 和 Fortran 代码 混编 基于 OpenMP 和 CUDA 并行 加速 算法 设计 与 开发 实现 基于 面元法 求解器 三维 翼身融合 体 气动 参数 计算 算例 外形 ...
基本概念
FPGA云服务器概念 名词 说明 相关文档 FPGA 现场可编程门阵列（Field Programmable Gate Array），具有硬件并行加速能力和可编程特性。什么是FPGA云服务器 FaaS FPGA即服务（FPGA as a Service），阿里云在云端提供的统一硬件平台与中间件...
加工原理
调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去消费1个或者多个源Logstore的Shard，调度器会根据运行实例对内存与CPU的消耗情况决定并行的运行实例数，最多启动与源Logstore的...
关键配置类介绍
concurrents-设置接口下每个方法的最大可并行执行请求数，取值如下：1：关闭并发过滤器。0：开启过滤，但不限制并发执行数量。cacheRef-结果缓存实现类 mockRef-Mock 实现类 mock-是否开启 Mock。validation-是否开启参数验证（基于 JSR303...
数据库
lock_manager 正等待增加或者检查用于后端的锁，或者正等待加入或者退出锁定组（并行查询使用）。predicate_lock_manager 正等待增加或者检查谓词锁信息。parallel_query_dsa 正等待并行查询动态共享内存分配锁。tbm 正等待TBM共享迭代器锁...
数据库
lock_manager 正等待增加或者检查用于后端的锁，或者正等待加入或者退出锁定组（并行查询使用）。predicate_lock_manager 正等待增加或者检查谓词锁信息。parallel_query_dsa 正等待并行查询动态共享内存分配锁。tbm 正等待TBM共享迭代器锁...
配置Java启动参数
老年代GC策略：用于设置老年代垃圾回收器，必须先配置年轻代垃圾回收器。并发GC线程数：配置并发GC将使用的线程数。并行GC线程数：配置并行GC将使用的线程数。协程特性 当您想使用协程特性时，可以开启 协程特性 开关。说明 只有在选择...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
StarRocks
本文为您介绍如何使用StarRocks连接器。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据仓库，致力于构建极速和统一分析体验。StarRocks具有以下优势：StarRocks兼容MySQL协议，可以使用MySQL客户端和常用...
数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
云效 Flow 实现分支模式
分支与合并 实际软件开发中，并行开发有多种场景，也会为这些场景制定对应的分支策略。不论使用哪种分支策略，都是基于某个分支编译（或不需要编译）产生部署包，用这个部署包发布到对应的环境。根据分支是否需要集成，可以简单描述为：单...
Workers
本文介绍自定义连接器中Workers的概念及配置。背景信息 Workers是运行连接器逻辑的Java虚拟机(JVM)进程。每个Worker创建一组并行线程中的Tasks，并完成复制数据的工作。Workers中的Tasks不存储状态，可以随时启动、停止或重新启动。SAE将...
Workers
本文介绍自定义连接器中Workers的概念及配置。背景信息 Workers是运行连接器逻辑的Java虚拟机(JVM)进程。每个Worker创建一组并行线程中的Tasks，并完成复制数据的工作。Workers中的Tasks不存储状态，可以随时启动、停止或重新启动。SAE将...
产品规格
通用型+低延时网络 ecs.sccg5.24xlarge 处理器：2.5 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）vCPU：96 内存：384GiB GPU：无 以太网：10Gbit/s RDMA：50Gbit/s 高效云盘 SSD云盘 需要多机并行的业务，如仿真制造场景。不支持ESSD云...
ListTriggers
调用ListTriggers列出触发器，支持分页。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
自定义节点池kubelet配置
例如，您可以调整集群资源预留以调配资源用量、自定义节点压力驱逐阈值以缓解集群资源不足、调整拓扑管理器策略以提高系统性能等。使用限制 仅v1.20版本及以上的ACK集群支持自定义kubelet参数。如需升级集群，请参见 升级ACK集群。仅v1.22...
分支模式
分支管理器」只能是在第一个阶段配置，且在这个阶段不能配置并行任务。运行流水线 流水线配置完成后，就可以开始运行了。在运行配置中，添加运行分支 进入添加运行分支对话框，选择运行分支。若在代码源选择的其他代码库，这里输入运行分支...
2023年
2023年12月 V6.3.10.26 类别 功能 功能描述 相关文档 优化 优化器 优化多表JOIN场景，放大join_collapse_limit（连接操作能合并的最大表数限制）后，时间与内存大幅度增长。无 优化器 优化分区非常多的分区表与ODPS外表 JOIN时，Explain...
StarRocks概述
智能查询优化 StarRocks通过CBO优化器（Cost Based Optimizer）可以对复杂查询自动优化。无需人工干预，就可以通过统计信息合理估算执行成本，生成更优的执行计划，大大提高了AdHoc和ETL场景的数据分析效率。联邦查询 StarRocks支持使用...
什么是EMR Serverless StarRocks
智能查询优化 StarRocks通过CBO优化器（Cost Based Optimizer）可以对复杂查询自动优化。无需人工干预，就可以通过统计信息合理估算执行成本，生成更优的执行计划，大大提高了AdHoc和ETL场景的数据分析效率。联邦查询 StarRocks支持使用...
自适应扫描
segments:6)(cost=0.00.431.00 rows=1 width=4)->Partial Seq Scan on t(cost=0.00.431.00 rows=1 width=4)Optimizer:PolarDB PX Optimizer(3 rows)说明 执行计划来自ePQ优化器。由于参与测试的只读节点有两个，所以从执行计划中可以看到...
自适应扫描
segments:6)(cost=0.00.431.00 rows=1 width=4)->Partial Seq Scan on t(cost=0.00.431.00 rows=1 width=4)Optimizer:PolarDB PX Optimizer(3 rows)说明 执行计划来自ePQ优化器。由于参与测试的只读节点有两个，所以从执行计划中可以看到...
- 产品推荐
- 这些文档可能帮助您