快速搭建AI对话机器人
本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
释放实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。当您不再需要某个GPU实例提供服务时，您可以释放该实例，以免产生额外的费用，本文主要介绍释放按量付费实例（包括抢占式实例）和已到期的包年包月实例。前提条件 ...
GPU虚拟化型
本文介绍为您介绍云服务器ECS GPU虚拟化型实例规格族的特点，并列出了具体的实例规格。GPU虚拟化型实例规格族sgn7i-vws（共享CPU）GPU虚拟化型实例规格族vgn7i-vws GPU虚拟化型实例规格族vgn6i-vws GPU虚拟化型实例规格族sgn7i-vws（共享...
启动实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何在ECS管理控制台上启动实例。前提条件 实例满足以下条件之一：实例处于 已停止 状态。按量付费实例处于 已过期 状态，您已经结清欠费账单但自动重开机...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
常用操作导航
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的操作方式。在使用云服务器ECS时，您可能会遇到各种问题，例如远程连接、更换操作系统、扩容云盘、升高或降低实例配置、使用快照或镜像等。本文介绍了云服务器ECS的常用操作，...
什么是GPU容器共享技术cGPU
GPU容器共享技术cGPU是阿里云基于内核虚拟GPU隔离的容器共享技术。即多个容器共享一张GPU卡，从而实现业务的安全隔离，提高GPU硬件资源的利用率并降低使用成本。为什么选择cGPU 兼容性好 不仅适配标准的Docker和Containerd工作方式，而且还...
在GPU计算型实例中安装Tesla驱动（Windows）
在深度学习、AI等通用计算业务场景下，安装了Tesla驱动的GPU才能发挥高性能计算能力。本文为您介绍为Windows系统的GPU计算型实例手动安装Tesla驱动的方法。操作步骤 说明 本文适用于所有Windows系统GPU计算型实例，更多信息，请参见 GPU...
在GPU实例（计算型和虚拟化型）中安装GRID驱动...
在OpenGL、Direct3D、云游戏等图形加速/图形渲染场景下，安装了GRID驱动的GPU可有效提高图形渲染效率和性能。本文为您介绍通过云助手方式在GPU实例（计算型和虚拟化型）中安装GRID驱动（Windows）的方法。说明 创建GPU实例时会默认预装云...
休眠实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。如果您在某个时间段内无需运行ECS实例，也不会执行某些操作（如升降配等），建议您休眠ECS实例。相比停止实例，休眠实例后再次启动实例，ECS实例会自动恢复至休眠前...
异构服务型
云服务器ECS异构服务型实例video-trans适用于视频转码、图像与视频内容处理以及帧图像提取等场景。通过本文您可以具体了解该实例的特点以及包含的实例规格和指标数据等。video-trans特点 提供专属硬件资源和物理隔离 高密度转码，例如显示...
停止实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍停止ECS实例，以及VPC内实例节省停机模式相关操作。前提条件 实例必须处于 运行中 状态。警告 停止实例会中断您的业务，请谨慎执行。停止包年包月实例 说明...
功能发布记录
2019-03-19 全部 实例规格族 2018年9月 功能名称 功能描述 发布时间 发布地域 相关文档 实例规格族 最新一代GPU云主机gn6v（V100机型）正式售卖。2018-09-12 全部 实例规格族 2018年3月 功能名称 功能描述 发布时间 发布地域 相关文档 GPU...
连接方式概述
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的连接方式。ECS支持通过多种方式连接实例，包括阿里云提供的连接工具（例如Workbench、VNC等）和第三方客户端工具。您可以综合考虑目标实例的操作系统、本地设备的操作系统、...
已停售的GPU实例规格
vCPU 内存（GiB）GPU GPU显存（GB）网络带宽（Gbit/s）网络收发包PPS RoCE网络（Gbit/s）多队列 弹性网卡 单网卡私有IP ecs.sccgn6e.24xlarge 96 768.0 NVIDIA V100*8 32GB*8 32 480万 50 8 32 10 GPU计算型超级计算集群实例规格族sccgn6 ...
GPU自助诊断
ECS管理控制台支持配置 GPU设备健康检查 功能，通过该功能可以对当前实例的GPU卡状态或驱动状态进行全方位诊断，方便您自行诊断当前实例的GPU卡或驱动是否存在异常，帮助您及时发现和解决存在的常见问题。前提条件 已创建GPU实例且该实例...
在GPU虚拟化型实例中安装GRID驱动（Linux）
在AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景下，安装了GRID驱动的GPU可有效发挥高性能计算能力，或提供更流畅的图形显示效果。本文为您介绍通过云助手快速安装GRID驱动的方法。说明 使用云助手安装GRID驱动前，建议...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
在GPU实例上部署NGC环境
背景信息 NGC作为一套深度学习生态系统，阿里云在镜像市场提供了针对NVIDIA Pascal GPU优化的NGC容器镜像。通过部署镜像市场的NGC容器镜像，您能简单快速地部署NGC容器环境，即时访问优化后的深度学习框架，极大程度缩减产品开发以及业务...
使用限制
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的使用限制。本文介绍云服务器ECS在产品功能和服务性能上的不同限制，以及如何申请更高配额。限制概述 使用云服务器ECS有下列限制：仅弹性裸金属服务器和超级计算集群支持二次...
什么是Deepytorch Inference（推理加速）
Deepytorch Inference是阿里云自研的AI推理加速器，专注于为Torch模型提供高性能的推理加速。通过对模型的计算图进行切割、执行层融合以及高性能OP的实现，大幅度提升PyTorch的推理性能。本文介绍Deepytorch Inference在推理加速方面的概念...
通过Docker安装并使用cGPU服务
该服务作为阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）的组件对外提供服务，本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前，请确保GPU实例满足以下要求：GPU实例规格为gn7i、gn6i、gn6v、gn...
ECS实例如何升级GPU驱动
概述 本文主要介绍如何升级ECS实例的GPU驱动。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据...适用于 云服务器ECS
在GPU实例上使用RAPIDS加速图像搜索任务
本文以使用RAPIDS加速图像搜索任务为例，介绍如何在预装镜像的GPU实例上使用RAPIDS加速库。前提条件 使用本教程进行操作前，请确保您已经注册了阿里云账号。如还未注册，请先完成 账号注册。背景信息 RAPIDS（全称Real-time Acceleration ...
卸载Tesla驱动
警告 GPU实例必须配备了相关驱动才可以正常使用。如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU实例与安装的驱动不匹配而造成业务无法正常进行的风险。在Windows操作系统中卸载...
GPU计算型和GPU虚拟化型实例概述
本文介绍云服务器ECS GPU计算型和GPU虚拟化型实例规格族的特点，并列出了具体的实例规格。推荐 GPU虚拟化型实例规格族sgn7i-vws（共享CPU）GPU虚拟化型实例规格族vgn7i-vws GPU计算型实例规格族gn7e GPU计算型实例规格族gn7i GPU计算型实例...
什么是AI通信加速库DeepNCCL
DeepNCCL是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信...相关文档 针对分布式训练或者多卡推理中的AI通信场景，在不同的GPU云服务器上安装DeepNCCL通信库，可以加速分布式训练或推理性能。具体操作，请参见 安装并使用Deepnccl。
安装并使用DeepGPU-LLM
在处理大语言模型任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义...
升级Tesla或GRID驱动
升级GRID驱动（Windows）适用实例 仅以下Windows GPU实例规格族支持通过云助手升级GRID驱动：Windows系统GPU虚拟化型实例：vgn6i-vws、vgn7i-vws、sgn7i-vws Windows系统GPU计算型实例：gn7i、gn6i、ebmgn7i、ebmgn6i 操作步骤 下文以一台...
卸载GRID驱动
警告 GPU实例必须配备了相关驱动才可以正常使用，如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU实例与安装的驱动不匹配而造成业务无法正常进行的风险。在Windows操作系统中卸载GRID...
什么是AI分布式训练通信优化库AIACC-ACSpeed
上图中，GPU0~GPU3或者GPU4~GPU7的各卡之间相互通过PCIe Bridge连接（PIX），而GPU0到GPU4~GPU7、GPU1到GPU4~GPU7、GPU2到GPU4~GPU7、GPU3到GPU4~GPU7之间需要通过socket之间的QPI/UPI接口连接（SYS）。优化方法 在原生NCCL通信库中，默认...
计费常见问题
建议您在更换套餐前为轻量应用服务器云盘创建快照，做好数据备份。具体操作，请参见 升级配置。重要 通过新人特惠、开发者成长计划等活动购买的实例升级套餐后，不再享受活动续费优惠。如何续费轻量应用服务器？您可以在轻量应用服务器的...
在GPU计算型实例中安装Tesla驱动（Linux）
在深度学习、AI等通用计算业务场景或者OpenGL、Direct3D、云游戏等图形加速场景下，安装了Tesla驱动的GPU才可以发挥高性能计算能力，或提供更流畅的图形显示效果。如果您在创建GPU计算型实例（Linux）时未同时安装Tesla驱动，则需要在创建...
升级配置
前提条件 建议您在升级前为轻量应用服务器云盘创建快照，做好数据备份。具体操作，请参见 创建快照。警告 升级失败可能导致数据丢失，建议您升级前先创建快照备份数据。创建快照需要一定的时间，请耐心等待快照创建完成。使用限制 SSD云盘 ...
地域和可用区
本文介绍阿里云地域和可用区的概念、选择指导、两者的关系以及阿里云支持的地域和可用区列表。地域 概念 地域指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北1（青岛）地域表示数据中心所在的城市是青岛。如何选择...
AIACC-Training常见问题
本章节汇总了使用AIACC-Training时的常见问题。...启动环节异常慢，查看系统的线程数非常多，有大量omp相关的线程 一般情况下，单GPU分配4个以内的omp线程是合适的，设置 export OMP_NUM_THREADS=4 或者更低可以解决此类问题。
使用AIACC-Training TensorFlow版
from tensorflow.keras import backend as K K.set_session(tf.Session(config=config))对于TensorFlow 2.x版本：gpus=tf.config.experimental.list_physical_devices('GPU')for gpu in gpus:tf.config.experimental.set_memory_growth(gpu...
升级或续费说明
升级配置 建议您在升级前为轻量应用服务器云盘创建快照，做好数据备份。具体操作，请参见 创建快照。说明 创建快照需要一定的时间，请耐心等待。升级配置时，系统将根据升级前后的套餐差异计算差价费用，您需要支付差价费用。具体的差价请...
管理服务器
云平台配置 展示该服务器云平台配置检查的详细信息。运维监控 远程运维 展示了该服务器通过云助手进行远程运维的命令列表、命令执行的结果以及文件发送结果。性能监控 展示了该服务器的CPU使用率、内存使用率、系统负载、网络流入流出速率...
- 产品推荐
- 这些文档可能帮助您