基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA ...
PAI-TF概述
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
方案优势 使用GPU云服务器可快速搭建自然语言训练环境。使用极速型NAS可提供强大的存储和共享训练数据的性能。使用AIACC-Training（AIACC训练加速）工具可有效加快模型的训练速度。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
安装AIACC-Training
前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba Cloud Linux、CentOS 7.x或Ubuntu 16.04以上版本。已安装NVIDIA Driver和CUDA 10.0或以上版本。背景信息 本文以安装AIACC-Training 1.5.0版本为例，您可以根据...
利用DCGM实现GPU的性能分析
NVIDIA GPU上存在一些硬件计数器，这些计数器可以用来收集一些设备级别的性能指标，例如GPU利用率、内存使用情况等。借助NVIDIA提供的NVML（NVIDIA Management Library）库或DCGM（Data Center GPU Manager）工具能够查询这些硬件层提供的...
什么是推理引擎DeepGPU-LLM
产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性和广泛适用性，旨在优化大语言模型在GPU云服务器上的推理过程，通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。DeepGPU-LLM的关联布局图如下所示：...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
使用限制
对于无法购买公网精品带宽的办公网络（原工作区），如果该办公网络下的云电脑有公网访问需求，建议您使用云 云企业网 打通VPC后，自建NAT网关或者代理服务器。产品功能 单个地域下，无影云电脑 相关功能限制如下表所示。限制项 配额值 提升...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
安装共享GPU调度组件
ACK Pro集群的实例规格架构设置为 GPU云服务器。其他配置，请参见 创建ACK集群Pro版。已获取集群KubeConfig并通过kubectl工具连接集群。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。cGPU服务的隔离功能不支持以UVM的方式...
ACK集群实现GPU成本优化
背景信息 阿里云GPU团队推出了昊天cGPU方案：通过一个内核驱动，为容器提供了虚拟的GPU设备节点，从而实现了显存和算力的隔离；通过用户态轻量的运行库来配置容器内的虚拟GPU设备节点。昊天cGPU在做到算力调度与显存隔离的同时，也做到了...
使用产品前的准备工作
不同模块对云资源的依赖 目前数据管理平台不同的功能，需要挂载的云资源如下：功能模块 功能描述 所需挂载云资源 任务调度 产品上创建的任务发送到计算资源上运行 ACK 容器服务 ECS 云服务器 任务中包含需要使用GPU的算子 GPU 云服务器 ...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
什么是集群极速部署工具FastGPU
FastGPU介绍 FastGPU作为衔接您的线下人工智能算法和线上阿里云海量GPU计算资源的关键一环，方便您将人工智能计算任务构建在阿里云的IaaS资源上。使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
灵骏常见问题
适用场景 适用于计算密集、相似度高、多线程并行的高吞吐量运算场景。适用于对响应速度有要求，逻辑复杂的串行运算场景。最适合GPU的计算类型是可以并行完成的计算，您可以使用并行编程方法和GPU加速计算。而神经网络是高度并行的，非常...
应用场景
推荐搭配使用：云服务器 ECS／GPU 服务器 EGS／高性能计算服务（Alibaba Cloud HPC）+容器服务+对象存储 OSS／文件存储 NAS／CPFS 相关文档：PyTorch分布式训练 TensorFlow分布式训练 微服务架构 实现敏捷开发和部署落地，加速企业业务迭代...
导入镜像
如果无影云电脑提供的镜像无法满足业务要求，您可以制作自定义镜像并将其导入无影云电脑控制台，然后在创建云电脑时使用该自定义镜像。本文介绍如何制作自定义镜像并将自定义镜像导入无影云电脑。前提条件 如果您是RAM用户，需先联系阿里云...
什么是云服务器ECS
云服务器ECS（Elastic Compute Service）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效...
Serverless GPU概述
Serverless GPU是一种新兴的云计算GPU服务，它采用了服务器无感知计算的理念，通过提供一种按需分配的GPU计算资源，有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文介绍Serverless GPU的详细...
Serverless GPU概述
Serverless GPU是一种新兴的云计算GPU服务，它采用了服务器无感知计算的理念，通过提供一种按需分配的GPU计算资源，有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文介绍Serverless GPU的详细...
应用场景
其中FPGA H.265高清编码、720P节省带宽21.6%，GPU云服务器支持高并发实时视频流5000路以上，并逐步上升到峰值6200路每分钟，且顺利度过洪峰。异构GPU云服务器还参与实时家居渲染图片生成等业务，首次提供了大量算力强劲的ebmgn6v裸金属实例...
快速构建主机监控能力
步骤一：安装云监控插件 当您在云服务器ECS控制台上创建阿里云主机（ECS实例）后，在云监控控制台的 主机监控 列表中会显示该主机，您需要为其安装云监控插件，才能对其进行监控。登录 云监控控制台。在左侧导航栏，选择 云资源监控>主机...
如何选用云服务器
在阿里云电子政务云上，云服务器有很多不同的规格型号，例如都是4核8G内存的云服务器，在不同应用场景下的性能跑分不同，价格也不同。本文为您介绍阿里云云服务的常见参数类别，帮助您根据不同的业务需求选择合适的云服务。云服务器参数...
画像分析-RoaringBitmap优化方案
方案实践 用户信息编码处理 用户标识可能是字符类型的，由于Bitmap只能保存整数信息，因此需要先将uid进行整数编码进Hologres中，可以通过插入包含 自增序列Serial（Beta）的表完成字符ID的编码。创建字典表 CREATE TABLE dws_uid_dict...
服务支持
本文列出了使用无影云电脑过程中的常见问题以及相关产品协议。常见问题 专业版 计费常见...相关协议 专业版 无影云电脑服务等级协议 标准版 阿里云服务条款 阿里云官网法律声明及隐私权政策 阿里云产品服务协议 无影云电脑（标准版）隐私政策
命令行使用说明
您可以通过FastGPU的命令行，快速地部署云上GPU集群，管理资源的生命周期。还可以便捷地为集群安装深度学习环境，在集群运行代码，查看运行日志以及释放资源。前提条件 客户端已安装Python 3.6或以上版本。说明 您的ECS实例、本地机器、...
ECS实例如何升级GPU驱动
概述 本文主要介绍如何升级ECS实例的GPU驱动。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据...适用于 云服务器ECS
超级计算集群概述
SCC与阿里云ECS、GPU云服务器等计算类产品一起，为 阿里云弹性高性能计算平台E-HPC 提供了极高性能的并行计算资源，实现真正的云上超算。机型对比 SCC与物理机、虚拟机的对比如下表所示。其中，Y表示支持，N表示不支持，N/A表示无数据。...
什么是无影云电脑（专业版）
无影云电脑（专业版）与 云服务器 ECS 的异同 比较项 无影云电脑（专业版）云服务器 概念 无影云电脑（专业版）是一种基于计算的云上桌面服务，采用桌面即服务DaaS（Desktop as a Service）为您提供易用、安全、高效的云上桌面办公系统。...
GPU调度概述
共享GPU调度 阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）开源了GPU共享调度之后，您能在阿里云、AWS、GCE和自己数据中心的容器集群上通过GPU共享调度框架实现多个容器运行在同一个GPU设备上的目标。ACK开源GPU共享...
计算资源优化
GPU 云服务器 EGS（Elastic GPU Service）：GPU云服务器是基于GPU与CPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势，特别是在浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。GPU的功能特性如下：...
变更云电脑或云电脑池的镜像
如果需要更换云电脑或池化云电脑的操作系统，或者需要初始化云电脑，可以通过变更镜像来快速实现。本文介绍如何变更云电脑、云电脑池 或池化云电脑的镜像。背景信息 限制 以下地域不支持变更镜像：中国香港、澳大利亚（悉尼）、日本（东京...
- 产品推荐
- 这些文档可能帮助您