产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
部署GPU云服务器
请按照标签顺序依次点击 新建>新建空白应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为 华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。需要修改自定义登录...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
使用弹性伸缩为NLB自动添加或移除后端服务器
因此需要将已有服务器实例添加到伸缩组中进行监控。在 伸缩组管理 页面的 操作 列单击 查看详情，在 实例列表 页签单击 手动创建。单击 添加已有实例，选择并添加ECS01实例，完成后单击 确认添加。在 手动创建 页签，可查看到ECS01实例已...
使用弹性伸缩为ALB自动添加或移除后端服务器
因此需要将已有服务器实例添加到伸缩组中进行监控。在 伸缩组管理 页面的 操作 列单击 查看详情，在 实例列表 页签单击 手动创建。单击 添加已有实例，选择并添加ECS01实例，完成后单击 确认添加。在 手动创建 页签，可查看到ECS01实例已...
使用弹性伸缩为CLB自动添加或移除后端服务器
因此需要将已有服务器实例添加到伸缩组中进行监控。在 伸缩组管理 页面的 操作 列单击 查看详情，在 实例列表 页签单击 手动创建。单击 添加已有实例，选择并添加ECS01实例，完成后单击 确认添加。在 手动创建 页签，可查看到ECS01实例已...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
启动实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何在ECS管理控制台上启动实例。前提条件 实例满足以下条件之一：实例处于 已停止 状态。按量付费实例处于 已过期 状态，您已经结清欠费账单但自动重开机...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
在GPU计算型实例中安装Tesla驱动（Windows）
说明 关于如何查看GPU实例的详细信息（实例ID、实例规格以及操作系统等），具体操作，请参见 查看实例信息。Data Center/Tesla A-Series NVIDIA A10 操作系统 根据实例使用的镜像选择对应的Windows操作系统版本。Windows 10 64-bit Windows...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
释放实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。当您不再需要某个GPU实例提供服务时，您可以释放该实例，以免产生额外的费用，本文主要介绍释放按量付费实例（包括抢占式实例）和已到期的包年包月实例。前提条件 ...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
停止实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍停止ECS实例，以及VPC内实例节省停机模式相关操作。前提条件 实例必须处于 运行中 状态。警告 停止实例会中断您的业务，请谨慎执行。停止包年包月实例 说明...
什么是弹性加速计算实例EAIS
弹性加速计算实例EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的IaaS（Infrastructure as a Service）级别弹性计算服务。EAIS可以将CPU资源与GPU资源成功解耦，帮助您将GPU资源附加到...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
产品优势
使用EAIS实例：您只需要购买如下计算资源：产品 实例规格 指标数据 云服务器ECS ecs.r6.6xlarge 24 vCPU 192 GiB 弹性计算加速实例EAIS eais.ei-a6.4xlarge 16 TFLOPS/FP32，32 GB/显存 综上所述，如果您购买GPU实例，则只能在已有的固定...
弹性加速计算实例EAIS安全性说明
说明 通过在ECS实例（非GPU实例）上绑定一个EAIS实例，即可生成一款新规格的GPU实例，该方式相比直接购买GPU实例，可以实现GPU资源的弹性使用，并为您降低部署成本和使用成本。因此，在使用EAIS前，您也需要关注ECS实例的安全性，更多信息...
使用EAIS软件包手动部署ChatGLM-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本：在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
什么是GPU容器共享技术cGPU
GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU 兼容性好 不仅适配标准的Docker和Containerd工作方式，而且还...
在GPU实例（计算型和虚拟化型）中安装GRID驱动...
适用实例 仅以下Windows系统GPU实例规格族支持通过云助手安装GRID驱动：Windows系统GPU虚拟化型实例：vgn6i-vws、vgn7i-vws、sgn7i-vws。更多信息，请参见 GPU虚拟化型。Windows系统GPU计算型实例：gn7i、gn6i、ebmgn7i、ebmgn6i。更多信息...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
卸载GRID驱动
警告 GPU实例必须配备了相关驱动才可以正常使用，如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU实例与安装的驱动不匹配而造成业务无法正常进行的风险。在Windows操作系统中卸载GRID...
功能发布记录
2019-03-19 全部 实例规格族 2018年9月 功能名称 功能描述 发布时间 发布地域 相关文档 实例规格族 最新一代GPU云主机gn6v（V100机型）正式售卖。2018-09-12 全部 实例规格族 2018年3月 功能名称 功能描述 发布时间 发布地域 相关文档 GPU...
GPU自助诊断
ECS管理控制台支持配置 GPU设备健康检查 功能，通过该功能可以对当前实例的GPU卡状态或驱动状态进行全方位诊断，方便您自行诊断当前实例的GPU卡或驱动是否存在异常，帮助您及时发现和解决存在的常见问题。前提条件 已创建GPU实例且该实例...
实例生命周期
轻量应用服务器实例的生命周期是指从创建到释放的整个过程。在这个过程中，轻量应用服务器会经历不同的状态。本文介绍轻量应用服务器实例整个生命周期内的所有状态。实例状态 在实例生命周期中，可能的状态如下表所示。控制台状态 API状态 ...
弹性加速计算实例FAQ
EAIS实例作为加速器需要附加在ECS实例上进行使用，您需要远程登录绑定的ECS实例，使用EAIS实例提供的AI推理进行加速。更多信息，请参见 使用EAIS实例。EAIS有什么使用前提吗？EAIS只负责GPU实例，相关的CPU/内存需要开通ECS实例。
在GPU计算型实例中安装Tesla驱动（Linux）
在深度学习、AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景下，安装了Tesla驱动的GPU才可以发挥高性能计算能力，或提供更流畅的图形显示效果。如果您在创建GPU计算型实例（Linux）时未同时安装Tesla驱动，则需要在创建...
远程连接方式概述
轻量应用服务器支持通过多种方式远程连接服务器实例，包括Workbench、VNC、第三方客户端工具等。您可以综合考虑轻量应用服务器实例的操作系统、本地设备的操作系统、需要执行的操作等因素，选择合适的连接方式。远程连接方式介绍 根据轻量...
部署管理
新建部署分为两种方式：按实例部署：按照实例维度，对每个实例添加想要部署的游戏。按游戏部署：按照游戏维度，对每个游戏添加需要部署的目标实例。如果项目下没有实例，可以通过新购实例，购买实例后再部署。购买实例后，选择【按实例部署...
- 产品推荐
- 这些文档可能帮助您