PAI-TF概述
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种...
基本概念
DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研的分布式训练任务AI加速器，可以显著提升训练性能。AIACC-Inference 阿里云自研的推理AI加速器，可以显著提升推理性能。AIACC-...
在GPU实例上部署NGC环境
背景信息 NGC作为一套深度学习生态系统，阿里云在镜像市场提供了针对NVIDIA Pascal GPU优化的NGC容器镜像。通过部署镜像市场的NGC容器镜像，您能简单快速地部署NGC容器环境，即时访问优化后的深度学习框架，极大程度缩减产品开发以及业务...
什么是GPU容器共享技术cGPU
GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU 兼容性好 不仅适配标准的Docker和Containerd工作方式，而且还...
异构服务型
云服务器ECS异构服务型实例video-trans适用于视频转码、图像与视频内容处理以及帧图像提取等场景。通过本文您可以具体了解该实例的特点以及包含的实例规格和指标数据等。video-trans特点 提供专属硬件资源和物理隔离 高密度转码，例如显示...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
PAI-TF任务参数介绍
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。PAI-TF命令参数 您可以在 Designer 的SQL节点、DataWorks SQL节点及MaxCompute的...
自助诊断GPU节点问题
根据 nvidia-smi 状态排查问题 nvidia-smi（NVIDIA System Management Interface）是一个监测NVIDIA GPU设备状态的命令行实用工具，可以用于管理GPU服务器性能和健康状况。您可以根据检查报告中 NVIDIASMIStatusCode 的结果，参见下表，...
sccgn系列实例使用说明及验证
为进一步优化神龙架构GPU服务器的网络性能，阿里云推出了GPU计算型超级计算集群实例规格族，即sccgn系列实例，该系列机型具备了超强的计算能力和网络通信能力。本文为您介绍sccgn系列实例的使用说明及性能验证。使用说明 sccgn系列机型同时...
ECS实例如何升级GPU驱动
概述 本文主要介绍如何升级ECS实例的GPU驱动。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据...适用于 云服务器ECS
功能发布记录
2019-03-19 全部 实例规格族 2018年9月 功能名称 功能描述 发布时间 发布地域 相关文档 实例规格族 最新一代GPU云主机gn6v（V100机型）正式售卖。2018-09-12 全部 实例规格族 2018年3月 功能名称 功能描述 发布时间 发布地域 相关文档 GPU...
卸载Tesla驱动
警告 GPU实例必须配备了相关驱动才可以正常使用。如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU实例与安装的驱动不匹配而造成业务无法正常进行的风险。在Windows操作系统中卸载...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
在GPU实例上使用RAPIDS加速图像搜索任务
本文以使用RAPIDS加速图像搜索任务为例，介绍如何在预装镜像的GPU实例上使用RAPIDS加速库。前提条件 使用本教程进行操作前，请确保您已经注册了阿里云账号。如还未注册，请先完成 账号注册。背景信息 RAPIDS（全称Real-time Acceleration ...
在GPU计算型实例中安装Tesla驱动（Windows）
在深度学习、AI等通用计算业务场景下，安装了Tesla驱动的GPU才能发挥高性能计算能力。本文为您介绍为Windows系统的GPU计算型实例手动安装Tesla驱动的方法。操作步骤 说明 本文适用于所有Windows系统GPU计算型实例，更多信息，请参见 GPU...
在GPU虚拟化型实例中安装GRID驱动（Linux）
在AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景下，安装了GRID驱动的GPU可有效发挥高性能计算能力，或提供更流畅的图形显示效果。本文为您介绍通过云助手快速安装GRID驱动的方法。说明 使用云助手安装GRID驱动前，建议...
在GPU实例（计算型和虚拟化型）中安装GRID驱动...
在OpenGL、Direct3D、云游戏等图形加速/图形渲染场景下，安装了GRID驱动的GPU可有效提高图形渲染效率和性能。本文为您介绍通过云助手方式在GPU实例（计算型和虚拟化型）中安装GRID驱动（Windows）的方法。说明 创建GPU实例时会默认预装云...
通过Docker安装并使用cGPU服务
该服务作为阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）的组件对外提供服务，本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前，请确保GPU实例满足以下要求：GPU实例规格为gn7i、gn6i、gn6v、gn...
卸载GRID驱动
警告 GPU实例必须配备了相关驱动才可以正常使用，如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU实例与安装的驱动不匹配而造成业务无法正常进行的风险。在Windows操作系统中卸载GRID...
安装并使用Deepnccl
Deepnccl是为阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库，能够无感地加速基于NCCL通信算子调用的分布式训练或多卡推理等任务。本文主要介绍在Ubuntu或CentOS操作系统的GPU实例上安装和使用Deepnccl的操作方法。前提条件 已创建...
在GPU计算型实例中安装Tesla驱动（Linux）
在深度学习、AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景下，安装了Tesla驱动的GPU才可以发挥高性能计算能力，或提供更流畅的图形显示效果。如果您在创建GPU计算型实例（Linux）时未同时安装Tesla驱动，则需要在创建...
使用AIACC-Training TensorFlow版
from tensorflow.keras import backend as K K.set_session(tf.Session(config=config))对于TensorFlow 2.x版本：gpus=tf.config.experimental.list_physical_devices('GPU')for gpu in gpus:tf.config.experimental.set_memory_growth(gpu...
【公告】GRID驱动变更通知
尊敬的阿里云用户，NVIDIA将于2023年7月31日后不再对FLS GRID License提供技术支持，且阿里云采购的FLS GRID License也将于2023年9月底到期，为了您的业务不受GRID驱动变更影响，建议您尽快将目前使用的GPU图形加速驱动（采用FLS GRID ...
什么是集群极速部署工具FastGPU
FastGPU介绍 FastGPU作为衔接您的线下人工智能算法和线上阿里云海量GPU计算资源的关键一环，方便您将人工智能计算任务构建在阿里云的IaaS资源上。使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，...
Python SDK使用说明
您可以通过FastGPU提供的Python接口，将FastGPU集成到您的人工智能训练或推理脚本中，从而快速地实现云上部署和资源管理。本文为您介绍FastGPU的Python SDK相关使用说明。前提条件 客户端已安装Python 3.6或以上版本。说明 您的ECS实例、...
使用AIACC-Training MXNet版
bin/sh let GPU=OMPI_COMM_WORLD_RANK%OMPI_COMM_WORLD_LOCAL_SIZE export OMP_NUM_THREADS=4 MXNET_VISIBLE_DEVICE=$GPU python train_imagenet.py \-network resnet \-num-layers 50 \-kv-store dist_sync_perseus \-gpus$GPU…执行如下...
安装和使用AIACC-AGSpeed
AIACC-AGSpeed（简称AGSpeed）专注于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，可以实现无感的计算优化性能。本文为您介绍安装和使用AGSpeed的方法。前提条件 已创建阿里云GPU实例，且...
AIACC-Training常见问题
本章节汇总了使用AIACC-Training时的常见问题。...启动环节异常慢，查看系统的线程数非常多，有大量omp相关的线程 一般情况下，单GPU分配4个以内的omp线程是合适的，设置 export OMP_NUM_THREADS=4 或者更低可以解决此类问题。
什么是计算优化编译器AIACC-AGSpeed
AIACC-AGSpeed（AIACC 2.0-AIACC Graph Speeding）是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器，用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，AIACC-AGSpeed是...
【公告】vgn5i和vgn6i停售通知
升配完成后，您可以通过云助手或者更换镜像方式将实例的GRID驱动升级为SWL GRID驱动，更多信息，请参见 GPU虚拟化型实例规格族vgn5i/vgn6i。重要 自vgn5i和vgn6i实例升配日起到2024年2月1日期间，您可以通过 请 提交工单 获取代金券，用于...
AIACC-ACSpeed体验示例
AIACC-ACSpeed（简称ACSpeed）作为阿里云自研的AI训练加速器，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。ACSpeed软件包中已为您提供了适配DDP的示例代码，您可以参考本文快速体验使用ACSpeed进行模型分布...
AIACC-ACSpeed性能数据
测试版本 ACSpeed版本：1.0.2 Cuda版本：11.1 torch版本：1.8.1+cu111 实例类型：某8卡GPU实例 训练性能效果 本文以AIACC-ACSpeed（简称ACSpeed）v1.0.2版本在阿里云某8卡机器上的多机性能数据为例，通过测试不同场景下的模型，展示ACSpeed...
什么是AI分布式训练通信优化库AIACC-ACSpeed
上图中，GPU0~GPU3或者GPU4~GPU7的各卡之间相互通过PCIe Bridge连接（PIX），而GPU0到GPU4~GPU7、GPU1到GPU4~GPU7、GPU2到GPU4~GPU7、GPU3到GPU4~GPU7之间需要通过socket之间的QPI/UPI接口连接（SYS）。优化方法 在原生NCCL通信库中，默认...
安装和使用AIACC-ACSpeed
前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba Cloud Linux、CentOS 7.x、Ubuntu 16.04或以上版本。已安装NVIDIA Driver和CUDA 10.0或以上版本。支持的版本列表 AIACC-ACSpeed（本文简称ACSpeed）v1.1.0支持...
安装和使用Deepytorch Training
Deepytorch Training是阿里云自研的AI加速器，面向生成式AI和大模型场景，提供了显著的训练加速能力。本文主要介绍安装并使用Deepytorch Training的操作方法。前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba ...
快速搭建AI对话机器人
本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
- 产品推荐
- 这些文档可能帮助您