ACK集群实现GPU成本优化
通过使用阿里云cGPU技术，您可以将GPU利用率不高的应用容器化部署在一块GPU卡上，实现资源利用率提升并且降低成本，且保持对高负载应用的资源保障。背景信息 阿里云GPU团队推出了昊天cGPU方案：通过一个内核驱动，为容器提供了虚拟的GPU...
AIACC-ACSpeed体验示例
AIACC-ACSpeed（简称ACSpeed）作为阿里云自研的AI训练加速器，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。ACSpeed软件包中已为您提供了适配DDP的示例代码，您可以参考本文快速体验使用ACSpeed进行模型分布...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
ack-ai-installer
在共享GPU调度的基础上，ack-ai-installer（cgpu-installer）还结合了阿里云GPU容器共享技术cGPU，支持GPU显存隔离，使不同的应用程序或进程在GPU内存中相互隔离，避免各个任务之间相互干扰，提高整个系统的性能和效率。同时，ack-ai-...
异构服务型
云服务器ECS异构服务型实例video-trans适用于视频转码、图像与视频内容处理以及帧图像提取等场景。通过本文您可以具体了解该实例的特点以及包含的实例规格和指标数据等。video-trans特点 提供专属硬件资源和物理隔离 高密度转码，例如显示...
安装和使用AIACC-AGSpeed
AIACC-AGSpeed（简称AGSpeed）专注于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能，相比原始的神龙AI加速引擎AIACC，可以实现无感的计算优化性能。本文为您介绍安装和使用AGSpeed的方法。前提条件 已创建阿里云GPU实例，且...
解析设置类常见问题总结
答：如果您在阿里云选购了SSL证书产品后，在DNS解析进行验证时，如果选择自动解析，则系统会自动为您添加一条TXT记录。您可以参阅 如何选择域名授权验证？操作文档。同一个域名解析，如何区分中国跟海外用户访问不同的地址？答：您可以通过...
云产品范围
专属区域可以支持的云产品范围 专属区域支持的云产品范围 IaaS产品：云服务器 ECS、弹性裸金属服务器 EBM、GPU 云服务器、FPGA 云服务器、Alibaba Cloud Linux、容器服务 ACK、容器镜像服务 ACR、块存储 EBS、对象存储 OSS、文件存储 NAS、...
GPU云服务器计费
GPU云服务器计费相关功能与云服务器ECS一致，本文为您介绍GPU云服务器涉及的计费项、计费方式、续费和退费说明等。计费项及其计费方式 一台GPU实例包括计算资源（vCPU、内存和GPU）、镜像、块存储等资源，其中涉及计费的GPU资源如下表所示...
PAI-TF概述
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种...
安装AIACC-Training
前提条件 已创建阿里云GPU实例，且GPU实例需满足以下要求：操作系统为Alibaba Cloud Linux、CentOS 7.x或Ubuntu 16.04以上版本。已安装NVIDIA Driver和CUDA 10.0或以上版本。背景信息 本文以安装AIACC-Training 1.5.0版本为例，您可以根据...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
历史功能发布记录（2023年）
1（武汉）本地地域 开服地域 云原生AI套件 ack-ai-installer组件发布v1.8.7版本 ack-ai-installer组件结合ACK Scheduler提供共享GPU调度、GPU拓扑感知调度等能力，在v1.8.7版本中，新增支持MPS的共享GPU调度，同时所结合的阿里云GPU容器...
使用限制
对于无法购买公网精品带宽的办公网络（原工作区），如果该办公网络下的云电脑有公网访问需求，建议您使用云 云企业网 打通VPC后，自建NAT网关或者代理服务器。产品功能 单个地域下，无影云电脑 相关功能限制如下表所示。限制项 配额值 提升...
上云须知
GPU云服务器 是基于GPU应用的计算服务，多适用于AI深度学习、视频处理、科学计算、图形可视化等应用场景。网络规划 容器集群基础设施（云服务器 ECS）的网络类型选择：专有网络VPC或经典网络。专有网络VPC：推荐使用。采用二层隔离，相对...
实例FAQ
本章节汇总了使用云服务器ECS实例时的常见问题。购买实例问题 如何查看某个地域或可用区是否能购买实例？购买实例时，资源已经售罄怎么办？如何选择适合我业务的ECS实例？购买ECS实例如何付款？开通一台云服务器需要多久？购买实例付款成功...
应用场景
无影云电脑 可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域，适用于多种办公场景，如远程办公、多分支机构、安全OA、短期使用、专业制图等。远程办公场景 可以随时随地，通过客户端连接云电脑进行办公，...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
什么是集群极速部署工具FastGPU
FastGPU介绍 FastGPU作为衔接您的线下人工智能算法和线上阿里云海量GPU计算资源的关键一环，方便您将人工智能计算任务构建在阿里云的IaaS资源上。使用FastGPU构建人工智能计算任务时，您无需关心IaaS层的计算、存储、网络等资源部署操作，...
GPU监控
请确保您已在云服务器ECS上安装云监控插件。具体操作，请参见 安装云监控插件。监控项说明 您可以从GPU、实例和应用分组维度查看GPU相关监控项。GPU的监控项如下表所示。监控项 单位 MetricName Dimensions（Agent）GPU维度解码器使用率%...
使用VNC登录实例
无法使用Workbench和第三方远程连接工具（例如PuTTY、Xshell、SecureCRT等）连接实例时，您可以通过VNC远程连接方式登录实例，查看云服务器ECS操作界面的实时状态。重要 自2023年7月10日起，远程连接工具VNC无需单独设置VNC登录密码，即可...
共享GPU调度概述
节点选卡策略Binpack和Spread 在共享GPU调度中，如果节点存在多张GPU卡，从节点中挑选GPU卡分配给Pod时，有两种策略可以考虑：Binpack：默认策略，调度系统先分配完节点的一张GPU卡后，再分配节点上另一张GPU卡，避免节点出现GPU资源碎片。...
使用产品前的准备工作
不同模块对云资源的依赖 目前数据管理平台不同的功能，需要挂载的云资源如下：功能模块 功能描述 所需挂载云资源 任务调度 产品上创建的任务发送到计算资源上运行 ACK 容器服务 ECS 云服务器 任务中包含需要使用GPU的算子 GPU 云服务器 ...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
安装共享GPU调度组件
ACK Pro集群的实例规格架构设置为 GPU云服务器。其他配置，请参见 创建ACK集群Pro版。已获取集群KubeConfig并通过kubectl工具连接集群。使用限制 请勿将共享GPU调度的节点的CPU Policy设置为 static。cGPU服务的隔离功能不支持以UVM的方式...
阿里云电子政务云产品全家福
免费 GPU云服务器 GPU 云服务器（GPU Cloud Computing，GPU）是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景。阿里云电子政务云平台价格是华北2公共云同等配置的2倍 ...
购买和初始化云虚拟主机
阿里云为您提供多款云虚拟主机产品，您可以根据网站程序的开发环境、访问规模以及数据量等建站规划，购买适合的云虚拟主机。本文为您介绍购买和初始化云虚拟主机的方法。前提条件 已注册阿里云账号。如未注册阿里云账号，具体操作，请参见 ...
异构计算集群概述
阿里云容器服务ACK支持对各种异构计算资源进行统一调度和运维管理，能够显著提高异构计算集群资源的使用效率。本文介绍阿里云容器服务ACK支持的异构计算集群。背景信息 随着5G、人工智能、HPC（High Performance Computing）、边缘计算等...
灵骏常见问题
适用场景 适用于计算密集、相似度高、多线程并行的高吞吐量运算场景。适用于对响应速度有要求，逻辑复杂的串行运算场景。最适合GPU的计算类型是可以并行完成的计算，您可以使用并行编程方法和GPU加速计算。而神经网络是高度并行的，非常...
导入镜像
如果无影云电脑提供的镜像无法满足业务要求，您可以制作自定义镜像并将其导入无影云电脑控制台，然后在创建云电脑时使用该自定义镜像。本文介绍如何制作自定义镜像并将自定义镜像导入无影云电脑。前提条件 如果您是RAM用户，需先联系阿里云...
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
命令行使用说明
您可以通过FastGPU的命令行，快速地部署云上GPU集群，管理资源的生命周期。还可以便捷地为集群安装深度学习环境，在集群运行代码，查看运行日志以及释放资源。前提条件 客户端已安装Python 3.6或以上版本。说明 您的ECS实例、本地机器、...
Serverless GPU概述
Serverless GPU是一种新兴的云计算GPU服务，它采用了服务器无感知计算的理念，通过提供一种按需分配的GPU计算资源，有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文介绍Serverless GPU的详细...
Serverless GPU概述
Serverless GPU是一种新兴的云计算GPU服务，它采用了服务器无感知计算的理念，通过提供一种按需分配的GPU计算资源，有效地解决原有GPU长驻使用方式导致的低资源利用率、高使用成本和低弹性能力等痛点问题。本文介绍Serverless GPU的详细...
应用场景
其中FPGA H.265高清编码、720P节省带宽21.6%，GPU云服务器支持高并发实时视频流5000路以上，并逐步上升到峰值6200路每分钟，且顺利度过洪峰。异构GPU云服务器还参与实时家居渲染图片生成等业务，首次提供了大量算力强劲的ebmgn6v裸金属实例...
- 产品推荐
- 这些文档可能帮助您