使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
通过Docker安装并使用cGPU服务
meminfo 只读 包括容器内剩余显存容量、正在使用GPU的进程ID及其显存用量。输出如下所示：Free:6730809344 PID:19772 Mem:200278016 weight 读写 用于设置容器获取显卡最大算力的权重，默认值为1。所有运行中的容器的权重之和必须小于等于...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
使用Pulumi快速创建Linux服务器
本文将介绍使用Python语言和Pulumi在阿里云指定区域和可用域中快速创建一台Linux云服务器。任务描述 新建一个Pulumi项目 部署一台Linux服务器 Linux服务器位于指定的区域和可用区，使用专用网络并配置好安全组规则。前置要求 Python 版本为...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
在GPU实例上使用RAPIDS加速图像搜索任务
对比两种方式的KNN向量检索速度，使用GPU加速的cuml KNN耗时791 ms，使用CPU的scikit-learn KNN耗时7min 34s。前者为后者的近600倍。验证两种方式的输出结果是否相同，输出结果为两个数组：distances：最小的K个距离值。本案例中搜索了...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
GPU云服务器常见问题
为了有效排查和解决GPU云服务器的相关问题，本文为您汇总了使用GPU时遇到的一些常见问题。类别 相关问题 功能问题 为什么Windows操作系统不支持DirectX等功能？GPU实例支持安卓模拟器吗？我能变更GPU实例的配置吗？按量付费GPU实例支持节省...
使用AIACC-Training MXNet版
由于MXNet支持KVStore和Horovod两种分布式训练方式，因此AIACC-Training 1.5能够支持使用KVStore的方式对MXNet分布式训练进行加速，同时支持Horovod的分布式训练方式，并且能够无缝兼容Horovod的API版本。快速启用 代码适配与运行 适配...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
准实时推理场景
本文介绍什么是准实时推理场景，以及如何使用GPU按量实例，以及如何基于GPU按量实例构建使用成本较低的准实时推理服务。场景介绍 在准实时推理应用场景中，工作负载具有以下一个或多个特征。调用稀疏 日均调用几次到几万次，日均GPU实际...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
准实时推理场景
本文介绍什么是准实时推理场景，以及如何使用GPU按量实例，以及如何基于GPU按量实例构建使用成本较低的准实时推理服务。场景介绍 在准实时推理应用场景中，工作负载具有以下一个或多个特征。调用稀疏 日均调用几次到几万次，日均GPU实际...
云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
安装并使用Deepnccl
Deepnccl是为阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库，能够无感地加速基于NCCL通信算子调用的分布式训练或多卡推理等任务。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用Deepnccl的操作方法。前提条件 已创建...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
Python SDK使用说明
您可以通过FastGPU提供的Python接口，将FastGPU集成到您的人工智能训练或推理脚本中，从而快速地实现云上部署和资源管理。本文为您介绍FastGPU的Python SDK相关使用说明。前提条件 客户端已安装Python 3.6或以上版本。说明 您的ECS实例、...
基于AIACC加速器快速实现Stable Diffusion生成特定...
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ControlNet框架，快速生成特定物体图片。背景信息 Stable Diffusion（简称SD）是一种AI模型，它经过训练可以逐步对随机高斯噪声进行去噪以生成所需要的图像。DreamBooth 是一...
安装和使用Deepytorch Inference
Deepytorch Inference是阿里云自研的AI推理加速器，针对Torch模型，可提供显著的推理加速能力。本文主要介绍安装并使用Deepytorch Inference的操作方法，以及推理效果展示。背景信息 Deepytorch Inference通过调用 deepytorch_inference....
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
使用AIACC-Training TensorFlow版
TensorFlow目前进行数据分布式训练的主流方式是Horovod，AIACC-Training 1.5支持使用Horovod API兼容的方式对TensorFlow分布式训练进行加速。本文为您介绍使用AIACC-Training TensorFlow版的具体操作及可能遇到的问题。适配Horovod API 本...
GPU拓扑感知调度
Kubernetes对节点的GPU拓扑信息不感知，调度过程中对GPU的选择...关于GPU拓扑感知调度如何使用，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用GPU拓扑感知调度 Pytorch分布式训练使用GPU拓扑感知调度
应用场景
推荐搭配使用：云服务器 ECS／GPU 服务器 EGS／高性能计算服务（Alibaba Cloud HPC）+容器服务+对象存储 OSS／文件存储 NAS／CPFS 相关文档：PyTorch分布式训练 TensorFlow分布式训练 微服务架构 实现敏捷开发和部署落地，加速企业业务迭代...
安装并使用DeepGPU-LLM
在处理大语言模型任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义...
在GPU实例上使用RAPIDS加速机器学习任务
train_with_gpu 是否使用GPU进行XGBoost模型训练，默认为 True。gpu_count 指定启动worker的数量，默认为 1。您可以按需要设定参数值，但不能超出GPU实例的GPU数量。part_count 指定用于模型训练的performance文件的数量，默认为 2*gpu_...
云产品范围
专属区域可以支持的云产品范围 专属区域支持的云产品范围 IaaS产品：云服务器 ECS、弹性裸金属服务器 EBM、GPU 云服务器、FPGA 云服务器、Alibaba Cloud Linux、容器服务 ACK、容器镜像服务 ACR、块存储 EBS、对象存储 OSS、文件存储 NAS、...
共享GPU调度
容器服务 Kubernetes 版 ACK（Container Service for Kubernetes）开源了GPU共享调度之后，您能在阿里云、AWS、Google Compute Engine和自己数据中心的容器集群上通过GPU共享调度框架实现多个容器运行在同一个GPU设备上的目标。ACK开源GPU...
配置共享GPU调度仅共享不隔离策略
配置项 说明 实例规格 架构 选择 GPU云服务器，选择多个GPU实例规格。本文以使用GPU卡V100为例进行说明。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点标签 单击，添加如下记录：键 为 ack.node.gpu.schedule，值...
GPU拓扑感知调度概述
本文简要描述了GPU拓扑分布情况，以及GPU拓扑感知调度的优势。GPU拓扑分布 下图为NVLink连接8个Tesla V100的混合立体网络拓扑。...相关文档 安装GPU拓扑感知调度组件 使用GPU拓扑感知调度（Tensorflow版）使用GPU拓扑感知调度（Pytorch版）
使用EAIS实例部署ChatGLM2-6B
更多GPU实例信息，请参见 什么是GPU云服务器。节省部署成本：在您使用ECS实例（非GPU实例）完成环境搭建之前，您无需创建EAIS实例，此时，仅有ECS实例（非GPU实例）在计费。如果您直接购买GPU实例然后在GPU实例上部署环境，将花费更多的...
指定GPU规格创建实例
默认情况下，多个容器可以共享使用GPU，配置时需确保单个容器内配置的GPU个数不超过指定的GPU规格所具备的GPU个数。OpenAPI 调用CreateContainerGroup接口创建ECI实例时，在通过InstanceType参数指定ECS GPU实例规格的基础上，必须通过容器...
安装和使用AIACC-AGSpeed
AIACC-AGSpeed（简称AGSpeed）专注于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，可以实现无感的计算优化性能。本文为您介绍安装和使用AGSpeed的方法。前提条件 已创建阿里云GPU实例，且...
功能特性
在ECS控制台复制轻量应用服务器共享的镜像 管理内网互通 管理内网互通 轻量应用服务器使用阿里云自动分配的专有网络VPC（Virtual Private Cloud）进行网络隔离，默认情况下不与云服务器ECS、云数据库等其他处于专有网络VPC中的阿里云产品...
最佳实践概览
内网互通 轻量应用服务器使用阿里云自动分配的专有网络VPC（Virtual Private Cloud）进行网络隔离，默认情况下不与云服务器ECS、云数据库等其他处于专有网络VPC中的阿里云产品内网互通。但同地域下轻量应用服务器与对象存储OSS（Object ...
- 产品推荐
- 这些文档可能帮助您