使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
8.0.2版本发布说明
并行查询2.0 在8.0.1版本中的并行查询功能，查询的执行模式是相对简单的两阶段执行模型（scatter-gather模型），在功能及性能上存在一定的局限性，具体如下：简单的执行框架，导致某些重度计算算子（分组聚集）可能存在单点瓶颈；算子并行...
PolarDB MySQL版8.0.2版本性能（集群版）
并行查询：并行查询重磅升级到2.0版本，对复杂分析查询进行了更全面的支持。多阶段的执行框架，SQL语句被拆解为多个计算算子。每个算子可以分布到多个worker上并行完成，算子间以流水线方式高效执行；支持全算子并行；算子并行方式多样化，...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
接入Nvidia GPU监控数据
如果您使用阿里云ECS的GPU实例，则GPU实例中已默认安装驱动，可跳过此步骤。步骤二：创建Logtail采集配置 登录 日志服务控制台。在 日志应用 区域的 智能运维 页签下，单击 全栈可观测。在 SLS全栈可观测 页面，单击目标实例。在左侧导航栏...
ST_CheckGPU
验证是否有GPU环境。语法 text ST_CheckGPU();描述 验证当前数据库运行环境是否有可识别的GPU硬件设备。示例 select st_checkgpu();[GPU prop]multiProcessorCount=20;sharedMemPerBlock=49152;maxThreadsPerBlock=1024(1 row)
接入NVIDIA GPU监控数据
如果您使用阿里云ECS的GPU实例，则GPU实例中已默认安装驱动，可跳过此步骤。步骤二：创建Logtail采集配置 登录 日志服务控制台。在 接入数据 区域的 监控数据 页签下，单击 NVIDIA GPU监控。选择目标Project和MetricStore，单击 下一步。...
ST_CheckGPU
验证是否有GPU环境。语法 text ST_CheckGPU();描述 验证当前数据库运行环境是否有可识别的GPU硬件设备。示例 select st_checkgpu();[GPU prop]multiProcessorCount=20;sharedMemPerBlock=49152;maxThreadsPerBlock=1024(1 row)
ST_RPCRectify
如果您使用的并行方式不支持匿名表，则需要提前创建表。compression 压缩算法类型。string 与原Raster一致 目前仅支持如下类型：NONE JPEG ZLIB PNG LZO LZ4 JP2K quality 压缩质量。integer 与原Raster一致 仅针对JPEG压缩算法。...
ST_RPCRectify
如果您使用的并行方式不支持匿名表，则需要提前创建表。compression 压缩算法类型。string 与原Raster一致 目前仅支持如下类型：NONE JPEG ZLIB PNG LZO LZ4 JP2K quality 压缩质量。integer 与原Raster一致 仅针对JPEG压缩算法。...
Hash Join的并行加速
PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。简单并行Hash Join 前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version...
创建GPU集群
关于可选的GPU ECS规格，请参见 ACK支持的GPU机型列表。说明 当在实例规格列表里没有可用实例时，可选择其他虚拟交换机进行尝试。查看节点挂载的GPU设备 集群创建成功后，可查看节点挂载的GPU设备。登录 容器服务管理控制台，在左侧导航栏...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
ST_RPCRectify
如果您使用的并行方式不支持匿名表，则需要提前创建表。compression 压缩算法类型。string 与原Raster一致 目前仅支持如下类型：NONE JPEG ZLIB PNG LZO LZ4 JP2K quality 压缩质量。integer 与原Raster一致 仅针对JPEG压缩算法。...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
ST_CheckGPU
验证是否有GPU环境。语法 text ST_CheckGPU();描述 验证当前数据库运行环境是否有可识别的GPU硬件设备。示例 select st_checkgpu();[GPU prop]multiProcessorCount=20;sharedMemPerBlock=49152;maxThreadsPerBlock=1024(1 row)
ST_CheckGPU
验证是否有GPU环境。语法 text ST_CheckGPU();描述 验证当前数据库运行环境是否有可识别的GPU硬件设备。示例 select st_checkgpu();st_checkgpu-[GPU prop]multiProcessorCount=20;sharedMemPerBlock=49152;maxThreadsPerBlock=1024(1 row)
Window Function的并行加速
Window Function是社区版MySQL 8.0为提升查询分析能力而引入的功能，在 PolarDB MySQL版 8.0版本中对Window Function进行了全面支持，并可以做并行执行。前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version为8.0.2.2.0...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
对分区表使用跨机并行查询
PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能。通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询...
兼容PostgreSQL 14版本公测结束，正式版上线
并行计算增强 PostgreSQL 14版本增加了许多并行查询功能，PL/pgSQL函数内的 RETURN QUERY 返回结果时支持QUERY的并行计算，REFRESH MATERIALIZED VIEW 命令也可以使用并行查询。并行顺序扫描支持chunk，提高大范围数据扫描的IO吞吐，接近块...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_parallel_workers 为单个节点内允许同时运行的最大并行worker线程数，超过 max_parallel_workers 后新的...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
GPU拓扑感知调度
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择比较随机，选择不同的GPU组合训练速度会存在较大的差异。基于以上问题，ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，在节点的GPU组合中选择具有最优训练速度的组合...
应用场景
说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术红利。网站应用 网站初始阶段访问量小，只需要一台低配置的云服务器ECS实例即可运行Apache或Nginx等Web应用程序、数据库、存储...
架构
初始快照 已有的被订阅表中的初始数据会被快照并且以一种特殊类型的应用进程的并行实例进行拷贝。这种进程将创建自己的临时复制槽并且拷贝现有的数据。一旦现有的数据被拷贝完，工作者会进入到同步模式，主应用进程会流式传递在使用标准...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
什么是集群极速部署工具FastGPU
FastGPU介绍 FastGPU作为衔接您的线下人工智能算法和线上阿里云海量GPU计算资源的关键一环，方便您将人工智能计算任务构建在阿里云的IaaS资源上。使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，...
质检规则组成说明
例如一个规则有两个条件a和b，使用逻辑运算符表明条件a和b间的关系具体用例如下表所示：运算符 描述 例子&称为逻辑与运算符，当且仅当运算符两边的条件都命中时，规则才算是命中。逻辑关系为 a&b 时，规则未命中|称为逻辑或运算符，当运算...
如何高效扫描数据
并行的全表扫描：如果需要从所有库导出数据，可以通过SHOW指令查看表拓扑结构，针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...
GPU拓扑感知调度概述
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择比较随机，选择不同的GPU组合训练速度会存在较大的差异。基于以上问题，ACK基于 Scheduling Framework 机制，实现GPU拓扑感知调度，在节点的GPU组合中选择具有最优训练速度的...
常见问题
对于下推到存储节点执行的DDL，您可以调整下推至存储节点的并行度，详情请参见 物理执行DDL并行控制。对于利用计算节点Online Schema Change能力执行的DDL，耗时主要来自于数据回填。您可以调整数据回填过程的速度，详情请参见 逻辑执行DDL...
策略还原
通过策略还原，您可将决策引擎运算后的某个风险请求进行过程还原。策略还原需要输入API请求决策引擎所返回的requestId。该策略还原功能基于SLS日志服务实现，决策引擎会将策略还原所需的日志数据打点至当前登录账号的SLS资源中。点击 分析...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
什么是GPU容器共享技术cGPU
GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU 兼容性好 不仅适配标准的Docker和Containerd工作方式，而且还...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
配置共享GPU调度节点选卡策略
配置项 说明 实例规格 架构 选择 GPU云服务器，选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点...
- 产品推荐
- 这些文档可能帮助您