什么是GPU云服务器
为什么选择GPU云服务器 阿里云GPU云服务器是基于GPU与CPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势，特别是在浮点运算、并行运算等方面，GPU可以提供比CPU高百倍的计算能力。GPU的功能特性如下：拥有大量擅长...
安装共享GPU调度组件
chmod+x/usr/local/bin/kubectl-inspect-cgpu 执行以下命令，查看集群GPU使用情况。kubectl inspect cgpu 预期输出：NAME IPADDRESS GPU0(Allocated/Total)GPU Memory(GiB)...
使用云原生AI监控大盘
传统的ACK集群只能从节点的维度监控该节点的GPU使用情况（使用率、显存使用情况、功率等）或者从Pod维度监控该Pod使用GPU的情况。基于以上存在的问题，阿里云容器服务研发了云原生AI监控大盘，该大盘相比传统的ACK集群GPU监控大盘，有如下...
使用阿里云Prometheus监控集群GPU资源
GPU APP 用于监控Pod的GPU使用情况。GPU Node 用于监控集群节点的GPU使用情况。使用以下YAML文件在GPU节点上部署一个服务，测试监控效果。apiVersion:apps/v1 kind:Deployment metadata:name:bert-intent-detection spec:replicas:1 ...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
开启集群GPU监控
通过监测GPU相关指标能够了解整个集群的GPU使用情况、健康状态、工作负载性能等，从而实现对异常问题的快速诊断、优化GPU资源的分配、提升资源利用率等。除运维人员以外，其他人员（例如数据科学家、AI算法工程师等）也能通过相关监控指标...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA ...
利用DCGM实现GPU的性能分析
通过了解业务的GPU使用情况，以便进行容量规划和任务调度。具体使用场景，请参见：场景三：评估训练任务中如何设置Batch Size参数的大小 场景四：评估一张共享GPU卡可以运行多少个AI推理服务 场景五：评估是否可以在共享的GPU上开启MPS能力...
基于GPU指标实现弹性伸缩
通过SSH登录GPU节点192.168.94.107后，执行以下命令查看GPU使用情况。nvidia-smi 预期输出：Wed Feb 16 11:48:07 2022+-+|NVIDIA-SMI 450.102.04 Driver Version:450.102.04 CUDA Version:11.0|-+-+-+|GPU Name Persistence-M|Bus-Id Disp....
基于GPU指标实现弹性伸缩
通过SSH登录GPU节点192.168.94.107后，执行以下命令查看GPU使用情况。nvidia-smi 预期输出：Wed Feb 16 11:48:07 2022+-+|NVIDIA-SMI 450.102.04 Driver Version:450.102.04 CUDA Version:11.0|-+-+-+|GPU Name Persistence-M|Bus-Id Disp....
模型分析优化
模型分析工具简介 AI套件提供了模型分析优化工具，在模型正式部署前，对模型进行性能压测，分析模型网络结构、每个算子耗时、GPU使用情况等，找到性能瓶颈，然后使用TensorRT等优化模型，达到上线标准后再进行部署。模型分析优化工具的生命...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
计费概述
说明 阿里云会根据您的云服务器使用情况，通过计算动态得出您的实例的计费方式是否支持转换操作。您可以前往云服务器控制台查看是否存在相应的操作入口，如果不存在，则说明不支持。将实例的计费方式从按量付费转为包年包月，可以享受一定...
什么是配额中心
系统根据您的云服务器使用情况，会在每月10日前，自动调整并分配保障配额，不支持手动申请提升保障配额。在保障配额外创建ECS实例时，不保障对应的资源供应。说明 仅云服务器ECS涉及此概念。预留配额 通过资源预定获得的实例配额，在预留...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
包年包月实例实时降配规格
背景信息 使用降低配置功能降配实例规格时，存在以下限制：是否支持实时降配功能根据您的云服务器使用情况而定。必须指定目标实例规格（包括vCPU和内存），不能单独降低其中一个配置。对于同一实例，两次降低配置操作之间的间隔不得少于5...
转换云盘计费方式
背景信息 转换须知 阿里云会根据您的云服务器使用情况，通过计算动态得出您的实例的计费方式是否支持转换操作。您可以参见本文操作，前往控制台查看是否存在操作入口，如果不存在，则说明不支持转换操作。每块云盘成功修改计费方式一次，五...
包年包月转按量付费
背景信息 阿里云会根据您的云服务器使用情况，通过计算动态得出您的实例的计费方式是否支持转换操作。您可以参见本文操作，前往控制台查看是否存在操作入口，如果不存在，则说明不支持转换操作。转换为按量付费ECS实例的结果如下：ECS实例...
计费方式概述
说明 阿里云会根据您的云服务器使用情况，通过计算动态得出您的实例的计费方式是否支持转换操作。您可以前往云服务器控制台查看是否存在相应的操作入口，如果不存在，则说明不支持。将实例的计费方式从按量付费转为包年包月，可以享受一定...
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
修改任务执行信息
在一个阿里云地域下，您可以保存500～50,000条云助手命令，配额随您的云服务器使用情况可能会增加。您也可以申请提升配额，关于如何查询及提升配额，请参见 配额管理。说明 填写详细的配额提升申请理由可提高审批通过率。当一个任务为云...
运维与监控FAQ
在一个阿里云地域下，根据您的云服务器使用情况而定，您可以保有100到10000条云助手命令。可以修改已经创建的命令吗？您可以修改云助手命令的名称和描述。为确保周期命令的一致性，不支持修改命令内容、超时时间和执行路径等信息。如果您...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
使用须知
安全责任须知 云服务器ECS的云上安全性是阿里云和客户的共同责任。云服务器ECS（Elastic Compute Service）与客户在安全性方面各自应该承担的责任，请参见 ECS的安全责任共担模型。操作须知 创建ECS实例后，您拥有实例的管理员权限，阿里云...
云产品范围
专属区域可以支持的云产品范围 专属区域支持的云产品范围 IaaS产品：云服务器 ECS、弹性裸金属服务器 EBM、GPU 云服务器、FPGA 云服务器、Alibaba Cloud Linux、容器服务 ACK、容器镜像服务 ACR、块存储 EBS、对象存储 OSS、文件存储 NAS、...
ECS配额管理
通过配额中心，您可以查询ECS资源配额上限和配额使用情况，或者根据业务的需要在线申请配额和设置配额用量告警。本文主要介绍如何管理ECS资源配额。可提升配额的资源 ECS资源配额限制及可提升配额的资源，可参见 使用限制。查看或提升ECS...
使用产品前的准备工作
不同模块对云资源的依赖 目前数据管理平台不同的功能，需要挂载的云资源如下：功能模块 功能描述 所需挂载云资源 任务调度 产品上创建的任务发送到计算资源上运行 ACK 容器服务 ECS 云服务器 任务中包含需要使用GPU的算子 GPU 云服务器 ...
ACK专有版集群迁移至ACK集群Pro版后升级共享GPU组件
ACK专有版集群 安装的共享GPU组件在 ACK集群Pro版 中无法正常...安装查询集群GPU显存使用情况的工具。具体操作，请参见 安装和使用GPU资源查询工具。后续步骤 关于如何验证共享GPU组件的共享调度及显存隔离能力，请参见 运行共享GPU调度示例。
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
费用类常见问题解决方案
本文为您介绍使用云服务器ECS时，经常遇到的费用类问题以及对应的解决方案。实例购买问题 云服务器ECS是一种弹性可伸缩的计算服务，助您降低IT成本，提升运维效率，使您更专注于核心业务创新。如果您需要购买云服务器ECS，请单击 购买入口...
产品优势
由于使用隧道封装技术对云服务器的IP报文进行封装，所以云服务器的数据链路层（二层MAC地址）信息不会进入物理网络，实现了不同云服务器间二层网络隔离，因此也实现了不同VPC间二层网络隔离。VPC内的云服务器使用安全组防火墙进行三层网络...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
运行共享GPU调度示例
workingDir:/root restartPolicy:Never 执行以下命令，查看集群GPU显存使用情况。kubectl inspect cgpu 预期输出：NAME IPADDRESS GPU0(Allocated/Total)GPU Memory(GiB)...
自定义镜像概述
您可以通过已配置好的自定义镜像创建更多包含相同配置的轻量应用服务器，也可以将自定义镜像共享至云服务器ECS，进而通过共享镜像创建ECS实例或更换操作系统。自定义镜像生命周期 当您通过服务器快照创建完成自定义镜像后，可以将镜像共享...
功能特性
在ECS控制台复制轻量应用服务器共享的镜像 管理内网互通 管理内网互通 轻量应用服务器使用阿里云自动分配的专有网络VPC（Virtual Private Cloud）进行网络隔离，默认情况下不与云服务器ECS、云数据库等其他处于专有网络VPC中的阿里云产品...
使用MongoDB工具将腾讯云MongoDB迁移至阿里云
说明 为保障腾讯云服务器和腾讯云MongoDB副本集实例的正常通信，腾讯云服务器的地域、可用区、私有网络和子网需配置与腾讯云MongoDB副本集实例一致。登录腾讯云服务器，安装MongoDB程序，详情请参见 安装MongoDB。说明 请确保安装的MongoDB...
实例FAQ
本章节汇总了使用云服务器ECS实例时的常见问题。购买实例问题 如何查看某个地域或可用区是否能购买实例？购买实例时，资源已经售罄怎么办？如何选择适合我业务的ECS实例？购买ECS实例如何付款？开通一台云服务器需要多久？购买实例付款成功...
- 产品推荐
- 这些文档可能帮助您