应用上云优先级及计划
考虑到企业应用系统规模较大，各方面资源无法保障所有应用系统并行上云。所以，我们建议制定应用上云优先级，并明确迁移批次及计划，使得所有资源能够有效被利用，并降低上云风险。我们建议应用上云优先级的制定，以“速赢”为原则，即优先...
使用场景
类似地，一个 FOR x IN query LOOP.END LOOP 形式的 PL/pgSQL 循环也永远不会使用并行计划，因为当并行查询进行时，并行查询系统无法验证循环中的代码执行起来是安全的。使用了任何被标记为 PARALLEL UNSAFE 的函数的查询。大多数系统定义...
通用性能
系统指标 指标详细 维度 能力 说明 系统部署 Agent自动注册 按规模可选择Agent集群式入网，高可用执行分钟级故障切换 系统性能 自动化峰值调用性能：100/分钟 自动化任务下发 并发调用性能：100台设备并行配置 系统稳定 系统动态扩容能力：...
入门概述
文件存储CPFS概述 文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展的并行文件系统，满足高性能计算场景的需求。文件存储CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS...
CreateFileSystem-创建文件系统
可选值请参考购买页面的实际规格：极速型 NAS 按量付费购买页面 极速型 NAS 包年包月购买页面 并行文件系统 CPFS 按量付费购买页面 并行文件系统 CPFS 包年包月购买页面 100 Bandwidth long 否 文件系统吞吐上限。单位：MB/s 具体可选规格...
CreateFileSystem-创建文件系统
可选值请参考购买页面的实际规格：极速型 NAS 按量付费购买页面 极速型 NAS 包年包月购买页面 并行文件系统 CPFS 按量付费购买页面 并行文件系统 CPFS 包年包月购买页面 100 Bandwidth long 否 文件系统吞吐上限。单位：MB/s 具体可选规格...
新功能发布记录
本文列举了文件存储CPFS产品功能发布的时间、...2019-08-09 部分 什么是文件存储CPFS 文件存储CPFS（公测）CPFS并行文件系统，提供高可用、高可靠、高可扩展、高性能的能力，适用各种高性能计算HPC场景。2018-01-09 部分 什么是文件存储CPFS
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
应用场景
高速稳定的并行转码系统，转码任务规模无缝扩展。视频内容再造 利用视频AI和超分技术、媒体处理技术，实现低画质素材高清重生内容再造。泛娱乐视频 媒体处理为泛娱乐门户提供完整的视频服务，帮助您快速搭建一个功能齐备的泛娱乐视频发布...
文件存储CPFS
文件存储CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。适用场景 文件存储CPFS ...
什么是文件存储CPFS
文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
ALIYUN:NAS:FileSystem
cpfs：并行文件系统。VpcId String 否 否 专有网络ID，指定VpcId和VSwitchId可以在创建文件系统实例的同时预配置一个默认挂载点。当FileSystemType取值为cpfs时，该参数必须指定。Bandwidth Integer 否 否 文件系统吞吐上限。当...
CPFS2.0静态卷
CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。本文介绍如何在 ACK Serverless ...
CPFS2.0静态卷
CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。本文介绍如何在 ACK 集群中挂载...
CPFS2.0静态卷
CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。本文介绍如何在 ACK 集群中挂载...
常见问题
文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
在云桌面内挂载CPFS文件系统
背景信息 文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足AI训练、自动驾驶、工业仿真等高性能计算场景的需求。更多信息，请参见 什么是文件存储CPFS。文件存储CPFS提供NFS协议服务，通过...
在Linux云电脑挂载CPFS文件系统
背景信息 文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足AI训练、自动驾驶、工业仿真等高性能计算场景的需求。详细信息，请参见 什么是文件存储CPFS。CPFS提供NFS协议服务，通过CPFS-NFS...
数据变更最佳实践
批量导入多个表时，导入任务会在系统中并行执行，默认并行执行2个任务。例如将MaxCompute中的数据导入 AnalyticDB MySQL版 时，MaxCompute中同一个表的不同分区中的数据会在系统中排队串行导入。实时导入：适用于小数据量导入的场景，例如...
参数说明
注意并行查询可能消耗比非并行查询更多的资源，因为每一个工作者进程时一个完全独立的进程，它对系统产生的影响大致和一个额外的用户会话相同。max_parallel_workers_per_gather 设置单个Gather或者Gather Merge节点能够开始的工作者的最大...
热点行优化
具体方案如下：串行处理变流水线处理 为了提升数据库系统的性能，最直接的方法是使用并行处理，但是对同一热点行的更新操作很难做到完全并行，PolarDB 创新性地使用了流水线处理方式，最大限度地将热点行更新操作并行化。热点行更新操作所...
如何将一棵LSM-Tree塞进NVM
此方案存在以下两个问题：日志仅能顺序写入，不利于发挥多核系统的并行写的能力。日志项中存在不同生命周期的数据，导致日志项的回收较为困难。如下图所示，log1中的数据写入3个LSM-tree实例中，而其中不同的LSM-tree实例中memtable刷盘的...
应用场景
并行文件存储系统CPFS AIACC-ACSpeed进行AI训练的典型业务场景如下所示：场景 适用模型 常用存储 图像分类、图像识别 Resnet、VGG16模型等，以及Stable Diffusion等AIGC模型 并行文件存储系统CPFS CTR预估 Wide&Deep模型 文件系统HDFS NLP...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
快速开始
通过Hint来控制并行查询 使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL进行加速。详情内容请参见 并行查询Hint语法。设置阈值控制优化器是否...
SELECT
当您不知道并行度设置成多少合适时，建议不指定并行度，系统将自动采用最优的并行度。常见问题 Q：什么情况下，查询语句被认为是低效查询语句？A：如果SELECT查询的条件同时满足下列三个条件，则该查询被认为是低效查询。WHERE 语句中没有...
使用云存储
文件存储CPFS 阿里云完全托管、可扩展的并行文件存储系统，针对高性能计算场景的性能要求进行了深度优化，提供对数据毫秒级的访问和百万级IOPS的数据读写请求。更多信息，请参见 文件存储CPFS概述。更多信息，请参见 阿里云存储服务。存储...
羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
PolarDB MySQL版8.0.1版本发布日志
即开启弹性并行查询功能后，当系统的 loose_csv_max_oss_threads 参数值大于1时，直接进行并行查询。优化OSS外表文件格式错误的报错信息内容。支持在 ALTER TABLE PARTITION BY RANGE 语法中增加 without validation 的选项，将普通表快速...
实践教程概览
创建以CPFS为共享存储的E-HPC集群 CPFS是一种高性能并行文件存储系统，以CPFS为共享存储的E-HPC集群适合动画渲染、生命科学、气象预报、能源勘探等需要超高吞吐的应用场景。本教程介绍如何创建以CPFS为共享存储的高性能计算集群，为您提供...
创建以CPFS为共享存储的E-HPC集群
背景信息 CPFS（Cloud Paralleled File System）是一种高性能并行文件存储系统，专为AI训练和E-HPC等高性能计算场景打造，最大支持数十GB/s吞吐能力。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型E-...
CREATE FUNCTION
如果它们访问临时表、客户端连接状态、游标、预备语句或者系统无法在并行模式中同步的本地后端状态（例如 setseed 只能在组领导者中执行，因为另一个进程所作的更改不会在领导者中被反映出来），它们应该被标为并行受限。通常，如果一个...
混合负载HTAP的实践和优化
OLTP系统查询慢，存在分析型场景和瓶颈的客户；读写分离需求。PolarDB-X HTAP架构更多信息，请参见 混合负载HTAP。HTAP集群 您购买的 PolarDB-X 主实例，主要面向在线通用业务场景。如果业务针对同一份数据有分析、专注离线拖数、跑批等...
概述
跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询，具体可参见 使用跨机并行查询进行分析型查询。PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机...
概述
跨机并行查询可以通过系统粒度、会话粒度和查询粒度进行分析型查询，具体可参见 使用跨机并行查询进行分析型查询。PolarDB PostgreSQL版（兼容Oracle）支持对分区表使用跨机并行查询的功能，提升数据库性能，具体可参见 对分区表使用跨机...
使用跨机并行查询进行分析型查询
细粒度使用跨机并行查询 各个粒度下如何使用跨机并行查询进行分析型查询如下所示：系统粒度控制 系统粒度控制主要通过设置全局guc参数控制开启跨机并行查询，指定并行度。示例 postgres=alter system set polar_enable_px=1;ALTER SYSTEM ...
使用跨机并行查询进行分析型查询
细粒度使用跨机并行查询 各个粒度下如何使用跨机并行查询进行分析型查询如下所示：系统粒度控制 系统粒度控制主要通过设置全局guc参数控制开启跨机并行查询，指定并行度。示例 postgres=alter system set polar_enable_px=1;ALTER SYSTEM ...
并行查询性能
本文档基于TPC-H测试 PolarDB MySQL版 8.0.1和8.0.2版本 集群版 的OLAP负载性能，您可以按照本文介绍自行测试对比，快速了解数据库系统的性能。并行查询简介 PolarDB MySQL版 8.0版本 集群版 推出并行查询（Parallel Query）框架。当您的...
软件概述
MPICH 3.2 WRF-OpenMPI 3.8.1 用于气象研究和天气预测的大气模型系统，多节点并行版本。OpenMPI 1.10.7 性能测试软件 名称 版本 简介 需要选中的依赖包 LINPACK 2018 浮点性能评测工具。Intel-MPI 2018 STREAM 2018 访存带宽评测工具。无 ...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
- 产品推荐
- 这些文档可能帮助您