什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
部署GPU云服务器
请按照标签顺序依次点击 新建>新建空白应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为 华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。需要修改自定义登录...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
创建轻量应用服务器
配置项 示例 说明 实例类型 服务器实例 本文需选择 服务器实例。轻量应用服务器提供了多种应用镜像和系统镜像，您可以直接使用不同的镜像部署环境或网站。地域和可用区 华东1（杭州）请根据您业务所在的地理位置选择地域。服务器创建后无法...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
指定GPU规格创建实例
规格类型 GPU规格族 驱动和CUDA版本 GPU虚拟化型实例规格族 sgn7i-vws NVIDIA 470.141.03，CUDA 11.4 vgn7i-vws vgn6i-vws GPU计算型实例规格族 gn7e NVIDIA 470.82.01，CUDA 11.4（默认安装）NVIDIA 525.85.12，CUDA 12.0 gn7i gn7s gn7 ...
产品优势
使用EAIS实例：您只需要购买如下计算资源：产品 实例规格 指标数据 云服务器ECS ecs.r6.6xlarge 24 vCPU 192 GiB 弹性计算加速实例EAIS eais.ei-a6.4xlarge 16 TFLOPS/FP32，32 GB/显存 综上所述，如果您购买GPU实例，则只能在已有的固定...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
基于CentOS系统镜像快速部署Apache服务
配置项 示例 说明 实例类型 服务器实例 本文需选择 服务器实例。轻量应用服务器提供了多种应用镜像和系统镜像，您可以直接使用不同的镜像部署环境或网站。地域和可用区 华东1（杭州）请根据您业务所在的地理位置选择地域。服务器创建后无法...
准实时推理场景
本文以购买T4加速类型的GPU云服务器为例进行对比说明。与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU...
快速搭建LNMP环境（通过宝塔面板）
配置项 示例 说明 实例类型 服务器实例 选择 服务器实例。地域和可用区 华东1（杭州）请根据您业务所在的地理位置选择地域。服务器创建后无法直接更换地域，请谨慎选择。重要 非中国内地地域，例如中国（香港）、新加坡等地域的服务器，...
准实时推理场景
本文以购买T4加速类型的GPU云服务器为例进行对比说明。与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU...
快速搭建WordPress个人博客
配置项 示例 说明 实例类型 服务器实例 本文需选择 服务器实例。轻量应用服务器提供了多种应用镜像和系统镜像，您可以直接使用不同的镜像部署环境或网站。地域和可用区 华东1（杭州）请根据您业务所在的地理位置选择地域。服务器创建后无法...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
指定GPU规格创建Pod
规格类型 GPU规格族 驱动和CUDA版本 GPU虚拟化型实例规格族 sgn7i-vws NVIDIA 470.141.03，CUDA 11.4 vgn7i-vws vgn6i-vws GPU计算型实例规格族 gn7e NVIDIA 470.82.01，CUDA 11.4（默认安装）NVIDIA 525.85.12，CUDA 12.0 gn7i gn7s gn7 ...
指定GPU规格创建Pod
规格类型 GPU规格族 驱动和CUDA版本 GPU虚拟化型实例规格族 sgn7i-vws NVIDIA 470.141.03，CUDA 11.4 vgn7i-vws vgn6i-vws GPU计算型实例规格族 gn7e NVIDIA 470.82.01，CUDA 11.4（默认安装）NVIDIA 525.85.12，CUDA 12.0 gn7i gn7s gn7 ...
在Knative中使用GPU
ECI支持指定ECS GPU规格来创建GPU实例。GPU对应的Docker镜像可以直接运行在ECI GPU实例上，无需安装Tensorflow、CUDA Toolkit等软件。本文介绍如何在Knative中创建并使用ECI GPU实例。前提条件 创建ACK Serverless集群 部署Knative 在...
接入Nvidia GPU监控数据
Nvidia GPU服务器中提供多项监控指标，您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建实例。具体操作，请参见 创建实例。步骤一：安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
通过Prometheus监控GPU实例
接入可观测监控Prometheus版后，您可以通过预定义的大盘监控Kubernetes集群中ECI GPU实例的性能指标。本文主要为您介绍如何通过Prometheus监控ECI GPU实例。前提条件 已创建 ACK Serverless集群，且集群已接入可观测监控Prometheus版。具体...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
实例类型及使用模式
函数计算 的弹性实例和GPU实例均支持按量模式和预留模式。按量模式根据请求时长计费，可以结合并发度设置提高实例的资源利用率。预留模式则是从实例启动完成...关于如何通过控制台指定期望的实例类型和实例规格的具体操作，请参见 管理函数。
实例类型及使用模式
函数计算 的弹性实例和GPU实例均支持按量模式和预留模式。按量模式根据请求时长计费，可以结合并发度设置提高实例的资源利用率。预留模式则是从实例启动完成...关于如何通过控制台指定期望的实例类型和实例规格的具体操作，请参见 管理函数。
命令行使用说明
查询所有实例类型：fastgpu querygpu fastgpu query 查询V100 GPU包含的所有实例类型：fastgpu query-gpu"V100"查询4个GPU的实例类型：fastgpu query-np 4 fastgpu queryimage fastgpu queryimage {os_type} 查询阿里云支持的实例镜像。...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
创建GPU集群
说明 当在实例规格列表里没有可用实例时，可选择其他虚拟交换机进行尝试。查看节点挂载的GPU设备 集群创建成功后，可查看节点挂载的GPU设备。登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在...
按量付费
计费单价 函数调用次数计费示例 资源使用计费 GPU使用量 根据您给函数配置的GPU规格收费，GPU使用量按阶梯累计模式计费。说明 GPU实例的活跃状态和闲置状态计费方式不同，具体见 计费单价。计费单价 GPU使用量计费示例 vCPU使用量 根据您给...
按量付费
计费单价 磁盘使用量计费示例 GPU使用量 根据您给函数配置的GPU规格收费，GPU使用量按阶梯累计模式计费。说明 GPU实例的活跃状态和闲置状态计费方式不同，具体见 计费单价。计费单价 GPU使用量计费示例 公网出流量计费 公网出流量 根据使用...
指定本地盘规格创建实例
关于ECS规格的详细信息，请参见：实例规格族 ECS实例规格定价 ECS实例规格可购买地域总览 配置说明 说明 仅支持通过OpenAPI指定本地盘规格创建实例并挂载本地盘，控制台暂不支持挂载本地盘。调用CreateContainerGroup接口创建ECI实例时，您...
常见问题
ECI支持指定ECS GPU规格来创建GPU实例，具体操作，请参见 指定ECS规格创建实例。说明 控制台暂不支持创建GPU实例，请采用OpenAPI方式。为什么ECI控制台和监控数据显示的实例规格不一致？问题描述 创建了一个0.5 vCPU、1 GiB内存的ECI实例，...
指定本地盘规格创建Pod
GPU计算型实例规格族gn5。说明 gn5为GPU规格，除了本地盘相关参数外，您还需要指定GPU相关参数。关于ECS规格的详细信息，请参见：实例规格族 ECS实例规格定价 ECS实例规格可购买地域总览 配置说明 您可以在Pod metadata中添加 k8s.aliyun....
指定本地盘规格创建Pod
GPU计算型实例规格族gn5。说明 gn5为GPU规格，除了本地盘相关参数外，您还需要指定GPU相关参数。关于ECS规格的详细信息，请参见：实例规格族 ECS实例规格定价 ECS实例规格可购买地域总览 配置说明 您可以在Pod metadata中添加 k8s.aliyun....
挂载本地盘
关于ECS规格的详细信息，请参见：实例规格族 ECS实例规格定价 ECS实例规格可购买地域总览 配置示例 准备YAML文件。vim localdis.yaml localdis.yaml的内容示例如下，示例中通过设置 k8s.aliyun.com/eci-use-specs: ecs.i2g.2xlarge 指定ECI...
- 产品推荐
- 这些文档可能帮助您