并行（Parallel）
基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支结果的map[string]any，然后可以通过输出...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
文件存储CPFS
文件存储CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。适用场景 文件存储CPFS ...
使用场景
何时会用到并行查询 有几种设置会导致查询规划器在任何情况下都不生成并行查询计划。为了让并行查询计划能够被生成，必须配置好下列设置。max_parallel_workers_per_gather 必须被设置为大于零的值。这是一种特殊情况，更加普遍的原则是...
CPFS2.0静态卷
CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。本文介绍如何在 ACK Serverless ...
CPFS2.0静态卷
CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。本文介绍如何在 ACK 集群中挂载...
CPFS2.0静态卷
CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。本文介绍如何在 ACK 集群中挂载...
并行步骤
介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤。这些串行步骤会改变其分支对应的...
入门概述
文件存储CPFS概述 文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展的并行文件系统，满足高性能计算场景的需求。文件存储CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS...
新功能发布记录
本文列举了文件存储CPFS产品功能发布的时间、...2019-08-09 部分 什么是文件存储CPFS 文件存储CPFS（公测）CPFS并行文件系统，提供高可用、高可靠、高可扩展、高性能的能力，适用各种高性能计算HPC场景。2018-01-09 部分 什么是文件存储CPFS
什么是文件存储CPFS
文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
配置作业部署信息
两次系统检查点间最短间隔 两次系统检查点之间的最短时间间隔，如果系统检查点最大并行度是1，则该配置确保两个系统检查点之间有一个最短时间间隔。State数据过期时间 如果时间超过了State数据过期时间，则State数据就过期了，系统就会自动...
ALIYUN:NAS:FileSystem
cpfs：并行文件系统。VpcId String 否 否 专有网络ID，指定VpcId和VSwitchId可以在创建文件系统实例的同时预配置一个默认挂载点。当FileSystemType取值为cpfs时，该参数必须指定。Bandwidth Integer 否 否 文件系统吞吐上限。当...
常见问题
文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
基本概念
无 POSIX接口 Linux操作系统用来访问文件的一套标准接口，可在应用程序中使用编程语言调用，实现对文件的各种操作。Linux应用程序操作本地文件使用的也是POSIX接口，所以将本地文件迁移到NAS文件系统后，无须修改应用程序代码即可直接运行...
参数说明
注意并行查询可能消耗比非并行查询更多的资源，因为每一个工作者进程时一个完全独立的进程，它对系统产生的影响大致和一个额外的用户会话相同。max_parallel_workers_per_gather 设置单个Gather或者Gather Merge节点能够开始的工作者的最大...
在云桌面内挂载CPFS文件系统
您可以在阿里云控制台创建CPFS文件系统，通过NFS协议服务把CPFS文件系统挂载至对应工作区下的无影云桌面，挂载成功后便可以在云桌面上把CPFS文件系统当作一个普通的目录来访问和使用。本文介绍如何将CPFS文件系统挂载至云桌面以及如何验证...
在Linux云电脑挂载CPFS文件系统
背景信息 文件存储CPFS（Cloud Paralleled File System）是阿里云推出的全托管、可扩展并行文件系统，满足AI训练、自动驾驶、工业仿真等高性能计算场景的需求。详细信息，请参见 什么是文件存储CPFS。CPFS提供NFS协议服务，通过CPFS-NFS...
热点行优化
具体方案如下：串行处理变流水线处理 为了提升数据库系统的性能，最直接的方法是使用并行处理，但是对同一热点行的更新操作很难做到完全并行，PolarDB 创新性地使用了流水线处理方式，最大限度地将热点行更新操作并行化。热点行更新操作所...
应用上云优先级及计划
考虑到企业应用系统规模较大，各方面资源无法保障所有应用系统并行上云。所以，我们建议制定应用上云优先级，并明确迁移批次及计划，使得所有资源能够有效被利用，并降低上云风险。我们建议应用上云优先级的制定，以“速赢”为原则，即优先...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
内存诊断
伙伴系统 伙伴系统是Linux内核用来管理物理内存页的一种算法，它管理起来的内存分为了不同的组，总共11组，每个组中的内存块大小都是一样的，都是2的幂次方个物理页，一个内存页一般是4 KB，所以大小一般是4 KB、8 KB、16 KB、32 KB……4 ...
Quick Tracking基本概念
行为采集 在行为采集中，有如下四个基本概念需要了解：系统事件 系统事件是指由采集SDK发出，用来统计应用的最基础指标，所有的系统事件编码（对应SDK报文中的ID字段）都会以“$_”开头。事件名称 APP 小程序 Web 应用启动（$_app_start）...
创建事件运维任务
事件详情匹配规则 否 Json格式，用来匹配系统事件的详情。事件详情匹配规则 系统事件的事件详情是一个Json，不同的系统事件的详情包含的字段不同。您可以根据详情中的字段对系统事件进行精细的筛选。以ECS的 生命周期状态变化 为例，其事件...
系统类故障排查
概述 本文主要介绍使用阿里云服务器ECS时的系统类故障排查，包含CPU、磁盘I/O、内存、硬盘、带宽资源占用异常的问题排查与定位。详细信息 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，...
DMS系统权限策略参考
在产品迭代过程中，DMS会向系统策略中添加新的权限，用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份，包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息，请参阅 权限策略概览。说明 系统...
加密服务系统权限策略参考
在产品迭代过程中，加密服务会向系统策略中添加新的权限，用来支持新的功能和能力。系统策略的更新将会影响所有授予了该策略的 RAM 身份，包括 RAM 用户、RAM 用户组和 RAM 角色。有关 RAM 权限策略的更多信息，请参阅 权限策略概览。说明 ...
CreateSimulatedSystemEvents-为实例预约模拟系统事件
调用CreateSimulatedSystemEvents为一台或多台ECS实例预约模拟系统事件。模拟系统事件相当于事件演习，不会真正执行事件，也不会对ECS实例产生影响。接口说明 预约模拟事件后，您可以通过 ECS 管理控制台、ECS API 和云监控服务查看已经...
应用场景
并行文件存储系统CPFS AIACC-ACSpeed进行AI训练的典型业务场景如下所示：场景 适用模型 常用存储 图像分类、图像识别 Resnet、VGG16模型等，以及Stable Diffusion等AIGC模型 并行文件存储系统CPFS CTR预估 Wide&Deep模型 文件系统HDFS NLP...
羲和分析计算引擎
相对于同步执行，尽管增加了查询执行实现的复杂度，但是通过用户态的并行管理能力，提高了系统CPU的并行执行的效率。这是羲和分析计算引擎极致性能的基础能力。向量化执行模型 基于全异步的执行引擎之上，羲和采用了向量化的查询执行模型。...
概述
并行网关 并行网关用来在流程中实现并发，成对出现。一对并行网关间的所有分支被同时执行，不进行条件判断。并行网关的一个分支执行完毕后，需要等待其他分支全部执行完流程才会走到下一个节点。使用方法，参见 使用并行网关。条件网关 ...
使用云存储
文件存储CPFS 阿里云完全托管、可扩展的并行文件存储系统，针对高性能计算场景的性能要求进行了深度优化，提供对数据毫秒级的访问和百万级IOPS的数据读写请求。更多信息，请参见 文件存储CPFS概述。更多信息，请参见 阿里云存储服务。存储...
实践教程概览
创建以CPFS为共享存储的E-HPC集群 CPFS是一种高性能并行文件存储系统，以CPFS为共享存储的E-HPC集群适合动画渲染、生命科学、气象预报、能源勘探等需要超高吞吐的应用场景。本教程介绍如何创建以CPFS为共享存储的高性能计算集群，为您提供...
快速开始
本章节介绍了如何快速使用弹性并行查询。注意事项 只读节点和主节点都支持并行查询功能。主节点上并行查询默认关闭。开启并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，设置并行度参数及并行引擎，...
SELECT
当您不知道并行度设置成多少合适时，建议不指定并行度，系统将自动采用最优的并行度。常见问题 Q：什么情况下，查询语句被认为是低效查询语句？A：如果SELECT查询的条件同时满足下列三个条件，则该查询被认为是低效查询。WHERE 语句中没有...
混合负载HTAP的实践和优化
OLTP系统查询慢，存在分析型场景和瓶颈的客户；读写分离需求。PolarDB-X HTAP架构更多信息，请参见 混合负载HTAP。HTAP集群 您购买的 PolarDB-X 主实例，主要面向在线通用业务场景。如果业务针对同一份数据有分析、专注离线拖数、跑批等...
2022年
ST_ImportFrom 2022年9月 ST_ExportTo函数 支持栅格数据导出到HDFS文件系统。ST_ExportTo 2022年9月 缺陷修复 修复 ST_makeTrajectory 函数可能会崩溃的问题。2022年9月 修复 ST_lcsSimilarity 函数无法识别以天为单位的时间段问题。2022...
使用跨机并行查询进行分析型查询
细粒度使用跨机并行查询 各个粒度下如何使用跨机并行查询进行分析型查询如下所示：系统粒度控制 系统粒度控制主要通过设置全局guc参数控制开启跨机并行查询，指定并行度。示例 postgres=alter system set polar_enable_px=1;ALTER SYSTEM ...
使用跨机并行查询进行分析型查询
细粒度使用跨机并行查询 各个粒度下如何使用跨机并行查询进行分析型查询如下所示：系统粒度控制 系统粒度控制主要通过设置全局guc参数控制开启跨机并行查询，指定并行度。示例 postgres=alter system set polar_enable_px=1;ALTER SYSTEM ...
CreateFileSystem-创建文件系统
例如：快照的源文件系统版本是 1，需要创建版本 2 的文件系统，可以先通过快照创建一个文件系统 A，然后再创建一个满足版本 2 配置的文件系统 B，把文件系统 A 中的数据拷贝至文件系统 B，拷贝完成后把业务迁移到文件系统 B 即可。...
- 产品推荐
- 这些文档可能帮助您