API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
快速构建主机监控能力
您可以从 操作系统监控、基础监控、GPU监控、进程监控、网络监控 和 云盘 监控维度查看ECS实例的监看数据。说明 您还可以通过Dashboard可视化查看ECS实例的监控数据。具体操作，请参见 查看云产品监控大盘。步骤三：开启一键报警 ECS实例...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
开启集群GPU监控
GPU监控2.0基于NVIDIA DCGM构建功能强大的GPU监控体系。本文介绍如何开启集群GPU监控。前提条件 已创建托管GPU集群或专有GPU集群。具体操作，请参见 创建GPU集群 或 创建专有GPU集群。已开通ARMS。具体操作，请参见 开通ARMS。背景信息 对...
接入NVIDIA GPU监控数据
您可使用Telegraf采集NVIDIA GPU监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建NVIDIA GPU可视化监控方案。本文介绍如何通过日志服务来完成NVIDIA GPU监控数据的采集和可视化。前提条件 已创建Project和...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
监控集群GPU资源最佳实践
GPU监控2.0基于NVIDIA DCGM实现对集群GPU节点的全方位监控。本文介绍如何使用GPU监控2.0监控ACK集群中的GPU资源。前提条件 已创建Kubernetes集群（ACK专有版集群、ACK集群基础版、ACK集群Pro版 或 ACK Edge集群），本文以 ACK集群Pro版 为...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
云监控ECS的Windows主机CPU监控数值异常
本文为您介绍云监控ECS的Windows主机CPU监控数值异常的原因及解决办法。云监控中的ECS CPU监控数值如果出现为0或者负数（实际CPU使用率不是0），其他监控值都正常。这个问题主要出现在Windows的机器上，一般原因是Windows内部的性能计数器...
使用阿里云Prometheus监控集群GPU资源
使用阿里云Prometheus进行GPU监控 登录 容器服务管理控制台。在 集群列表 页面，单击目标集群名称或者目标集群右侧 操作 列下的 详情。在集群管理页左侧导航栏，选择 运维管理>Prometheus监控。在 Prometheus监控 大盘列表页面，单击 GPU ...
通过Prometheus监控GPU实例
单击 GPU监控 页签，查看对应的监控详情。ACK Serverless集群 接入可观测监控Prometheus版后，您无需部署额外插件，即可监控ECI GPU实例。默认情况下，系统已为您提前创建好了对应的监控大盘。更多信息，请参见 监控面板说明 和 监控指标...
监控面板说明
GPU监控2.0基于Exporter+Prometheus+Grafana体系打造更为丰富的GPU监控场景。本文介绍监控大盘中各个监控面板（Panel）的含义。Panel介绍 GPU监控2.0包含集群维度监控大盘和节点维度监控大盘。两种大盘的具体说明如下：集群维度监控大盘 ...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
主机监控
主机监控功能用于监控CPU、内存、Disk（磁盘）、Load（负载）、网络流量和网络数据包的各项指标。本文介绍主机监控功能和查看主机监控指标的操作步骤。功能入口 登录 ARMS控制台，在左侧导航栏选择 应用监控>应用列表。在 应用列表 页面...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
服务器监测
在 服务器监控项 中，可以选择PING监控、CPU、内存、磁盘等指标。打开 CPU监控 的创建页面，输入创建监控项所需的基础信息，例如监控项名称、描述等。为监控项定义一个全局唯一的监控项名称，如Server_CPU_Monitor。输入监控项描述，详细...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
功能特性
ARMS应用监控是一款应用性能管理（Application Performance Management，简称APM）产品。您无需修改代码，只需为应用安装一个探针，ARMS就能够对应用进行全方位监控，帮助您全面掌控应用运行状态，快速定位出错接口和慢接口，洞察性能瓶颈...
版本功能对比
应用实时监控服务ARMS包含多种子产品。为满足不同的需求，各子产品提供多种版本，例如基础版和专家版等。本文对比应用监控各个版本的功能与特性。重要 ARMS基础版已不支持开通，并将于2024年03月31日起停止提供技术支持。更多信息，请参见...
2023年
Prometheus实例 for 云服务 Prometheus for 云服务 新增 Prometheus for 云服务实例支持阿里云无影云桌面，提升Prometheus云服务组件监控覆盖率。开服地域 新增 Prometheus for ECS实例新增泰国曼谷、菲律宾马尼拉、韩国首尔地域。...
主机监控
监控指标 主机监控功能可监控以下指标：监控项 监控指标 CPU CPU使用率总和 系统CPU使用率 用户CPU使用率 等待IO完成的CPU使用率 物理内存 系统总内存 系统空闲内存 系统已使用内存 系统PageCache中的内存 系统BufferCache中的内存 Disk...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
主机监控
主机监控功能用于监控CPU、内存、Disk（磁盘）、Load（负载）、网络流量和网络数据包的各项指标。本文介绍主机监控功能以及如何查看主机监控指标。功能介绍 主机监控功能可监控以下指标：CPU CPU使用率总和 系统CPU使用率 用户CPU使用率 ...
主机监控
主机监控功能用于监控CPU、内存、Disk（磁盘）、Load（负载）、网络流量和网络数据包的各项指标。本文介绍主机监控功能和查看主机监控指标的操作步骤。功能入口 登录 EDAS控制台。在左侧导航栏单击 应用列表。在 应用列表 页面选择地域和 ...
PutLogMonitor-创建或修改日志监控
关于云监控支持云服务的监控项，请参见 云产品监控项。cpu_total MetricExpress string 否 扩展字段。扩展字段为统计方法中的结果提供四则运算的功能。例如：在统计方法中配置了 HTTP 状态码请求总数 TotalNumber 和 HTTP 状态码大于 499 ...
查看Spark监控
DLA提供了Spark虚拟集群的性能监控功能，本文介绍如何通过DLA管理控制台查看资源监控。前提条件 您已经成功购买DLA虚拟集群。如果您是RAM用户，请确认已具备 AliyunARMSFullAccess 权限。查看集群监控 登录 Data Lake Analytics管理控制台...
监控服务
本文介绍如何在本地网关控制台监控云存储网关的CPU、内存、缓存IOPS、缓存吞吐、网络等信息。背景信息 从1.4.0版本开始本地文件网关支持日志监控功能，您可以在云控制台上进行相关操作。文件网关支持系统及共享目录的日志监控，日志将分发...
实例监控
实例监控指标表 监控类别 监控指标 参数 说明 资源监控 CPU cpu PolarDB-X 1.0 实例计算节点CPU使用率的平均值。内存 old PolarDB-X 1.0 实例计算节点的内存使用率。内存使用率波动属于正常现象。网络 netin（输入流量）PolarDB-X 1.0 实例...
应用监控概述
查看应用总览 Prometheus监控 Prometheus监控提供的预置监控仪表板包括Pod基本信息、CPU信息、内存信息和网络信息，您可以通过这些仪表板查看丰富的Prometheus监控指标，并按需更改仪表板数据的时间区间、刷新频率等属性。查看Prometheus...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
- 产品推荐
- 这些文档可能帮助您