云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
在GPU集群中加速AI模型训练
部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
使用VNC登录实例
无法使用Workbench和第三方远程连接工具（例如PuTTY、Xshell、SecureCRT等）连接实例时，您可以通过VNC远程连接方式登录实例，查看云服务器ECS操作界面的实时状态。重要 自2023年7月10日起，远程连接工具VNC无需单独设置VNC登录密码，即可...
部署GPU云服务器
请按照标签顺序依次点击 新建>新建空白应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为 华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。需要修改自定义登录...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
Designer中GPU服务器及对应算法组件下线
Designer中GPU服务器及对应算法组件下线，后续可使用云原生版本 停止服务内容 因当前提供服务的V100、P100服务器集群即将过保，PAI将在2024年3月1日正式下线Designer中的TensorFlow(GPU)、MXNet、PyTorch算法组件。您后续可继续使用云原生...
创建GPU实例
如果您购买的是包年包月实例，请阅读《云服务器ECS服务条款》、《镜像商品使用条款》和《云服务器ECS退订说明》，如无疑问，选中《云服务器ECS服务条款》|《镜像商品使用条款》|《云服务器ECS退订说明》。单击 确定下单。在支付页面，查看...
接入Nvidia GPU监控数据
Nvidia GPU服务器中提供多项监控指标，您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建实例。具体操作，请参见 创建实例。步骤一：安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...
使用RAPIDS加速图像搜索最佳实践
部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。文件存储NAS 是一种可共享访问、弹性扩展、高可靠以及高...
使用RAPIDS加速机器学习最佳实践
部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。文件存储NAS 是一种可共享访问、弹性扩展、高可靠以及高...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
使用业务流程图设计器
中台业务专家或者架构师可以使用业务流程图设计器，在业务流程中设计具体的业务活动节点，并指导后续的技术实现。本文介绍如何使用业务流程图设计器。前提条件 当前账号拥有项目权限。操作步骤 在 业务流程 页面的左侧导航栏，选择目标分类...
操作流程
统一服务主要内容包括服务封装、服务调用两方面，通过流程图，可以清晰直观的了解各功能之间的关系。本文介绍统一服务的操作流程。服务封装流程及说明 流程图 流程说明 流程 说明 创建应用 对API的应用管理，按应用获取密钥和访问域名信息...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
操作流程
统一服务主要内容包括服务封装、服务调用两方面，通过流程图，可以清晰直观的了解各功能之间的关系。本文介绍统一服务的操作流程。服务封装流程及说明 流程图 流程说明 流程 说明 创建应用 对API的应用管理，按应用获取密钥和访问域名信息...
与云服务器ECS对比
如果您需要使用更丰富的实例类型，如通用型、计算型、大数据型、弹性裸金属服务器、GPU/FPGA/NPU异构计算型等，支持高并发网站、视频编解码、大型游戏、复杂分布式集群应用等业务场景，请使用云服务器ECS产品。关于云服务器ECS的更多实例...
什么是GPU容器共享技术cGPU
cGPU架构图 GPU容器共享技术cGPU的架构图如下所示：为了提高GPU硬件资源的利用率，需要在单张显卡上运行多个容器，并在多个容器间隔离GPU应用。cGPU通过自研的内核驱动为容器提供虚拟的GPU设备，在保证性能的前提下隔离显存和算力，为充分...
【公告】GRID驱动变更通知
尊敬的阿里云用户，NVIDIA将于2023年7月31日后不再对FLS GRID License提供技术支持，且阿里云采购的FLS GRID License也将于2023年9月底到期，为了您的业务不受GRID驱动变更影响，建议您尽快将目前使用的GPU图形加速驱动（采用FLS GRID ...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
创建和管理业务流程
关于如何关联子流程，请参见 使用业务流程图设计器。在 新建业务流程 面板，完成以下参数配置后，单击 创建。配置项 说明 业务流程名称 自定义业务流程的名称。名称长度不得超过100个字符。编码 字符、数字的组合，需以大写字母开头。编码...
创建弹性裸金属服务器实例
背景信息 创建弹性裸金属服务器实例和创建普通云服务器实例的步骤类似，本文仅介绍弹性裸金属特有的基本配置项，如果您想了解其他通用配置，请参见 自定义购买实例。操作步骤 登录 ECS管理控制台。在左侧导航栏，选择 实例与镜像>实例。...
远程桌面无法连接到Windows实例的快速排查方法
当您的云服务器无法远程登录时，我们建议您首先检查是否可以通过控制台远程登录，如何通过阿里云VNC工具远程登录，请参见 通过VNC远程登录Windows实例。再参见以下排查方法，排查无法远程连接Windows实例的原因。步骤一：使用管理终端登录...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
启动实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何在ECS管理控制台上启动实例。前提条件 实例满足以下条件之一：实例处于 已停止 状态。按量付费实例处于 已过期 状态，您已经结清欠费账单但自动重开机...
使用流程
流程图 图像搜索使用流程图如下所示。详细流程 登录 图像搜索管理控制台。选择服务类型，创建实例。详情请参见 创建实例。单击 实例ID 或 操作 进入实例详情页。单击 图片新增，进入图片新增页面，上传图片生成图片底库。详情请参见 图片...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
已停售的GPU实例规格
vCPU 内存（GiB）GPU GPU显存（GB）网络带宽（Gbit/s）网络收发包PPS RoCE网络（Gbit/s）多队列 弹性网卡 单网卡私有IP ecs.sccgn6e.24xlarge 96 768.0 NVIDIA V100*8 32GB*8 32 480万 50 8 32 10 GPU计算型超级计算集群实例规格族sccgn6 ...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
GPU云产品选型决策指引
本文介绍如何根据您的业务情况选择不同的GPU云产品以及应用场景。GPU选型指引请参见以下流程图。关于函数计算Serverless GPU的详细应用场景介绍，请参见以下文档：准实时推理场景 实时推理场景 离线异步调用异步任务场景
基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA ...
- 产品推荐
- 这些文档可能帮助您