什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
安装GPU拓扑感知调度组件
前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。获取集群KubeConfig并通过kubectl工具连接集群。系统组件版本满足以下要求。组件 版本要求 Kubernetes 1.18.8及以上...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
启动实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何在ECS管理控制台上启动实例。前提条件 实例满足以下条件之一：实例处于 已停止 状态。按量付费实例处于 已过期 状态，您已经结清欠费账单但自动重开机...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
远程连接Linux服务器
方式一：通过控制台使用Workbench远程连接Linux服务器（推荐）轻量应用服务器控制台支持通过Workbench远程连接服务器，您可以根据业务需求选择对应的连接方式：Workbench一键连接：默认使用 admin 用户远程连接服务器，无需输入用户名和...
释放实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。当您不再需要某个GPU实例提供服务时，您可以释放该实例，以免产生额外的费用，本文主要介绍释放按量付费实例（包括抢占式实例）和已到期的包年包月实例。前提条件 ...
停止实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍停止ECS实例，以及VPC内实例节省停机模式相关操作。前提条件 实例必须处于 运行中 状态。警告 停止实例会中断您的业务，请谨慎执行。停止包年包月实例 说明...
神行工具包（DeepGPU）计费
使用神行工具包（DeepGPU）本身不需要额外支付费用，您只需要为执行计算任务过程中使用的阿里云资源（例如云服务器ECS或文件存储NAS）进行付费。神行工具包中的组件主要包括 AI训练加速器Deepytorch Training、AI推理加速器Deepytorch ...
连接通道配置
共有三种部署通道可选，前两种部署通道支持在线直接部署，无需将部署包拷贝至部署环境，即可在ADP的页面上一键自动完成部署动作：直连阿里公有云 通过跳板机连接 代理通道 无通道（离线部署）不同的部署环境，分别可选的交付方式如下：部署...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
Designer中GPU服务器及对应算法组件下线
Designer中GPU服务器及对应算法组件下线，后续可使用云原生版本 停止服务内容 因当前提供服务的V100、P100服务器集群即将过保，PAI将在2024年3月1日正式下线Designer中的TensorFlow(GPU)、MXNet、PyTorch算法组件。您后续可继续使用云原生...
产品优势
使用EAIS实例：您只需要购买如下计算资源：产品 实例规格 指标数据 云服务器ECS ecs.r6.6xlarge 24 vCPU 192 GiB 弹性计算加速实例EAIS eais.ei-a6.4xlarge 16 TFLOPS/FP32，32 GB/显存 综上所述，如果您购买GPU实例，则只能在已有的固定...
安装共享GPU调度组件
在一键部署 云原生AI套件 页面，选中 调度组件（批量任务调度、GPU共享、GPU拓扑感知、NPU调度）。（可选）单击 调度组件（批量任务调度、GPU共享、GPU拓扑感知、NPU调度）右侧的 高级配置。在弹出的 参数配置 窗口，修改cGPU的 policy ...
基本概念
本文汇总使用GPU云服务器过程中涉及的基本概念，方便您查询和了解相关概念。GPU云服务器相关概念 概念 说明 GPU 图形处理器（Graphics Processing Unit）。相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA ...
什么是轻量应用服务器
轻量应用服务器是面向单机应用场景的新一代计算服务，提供精品应用一键部署，支持一站式的域名、网站、安全、运维、应用管理、内网互通、负载均衡等服务，极大优化搭建简单应用的体验，降低了入门级用户使用云计算产品的门槛。您可以通过...
使用Windows实例搭建AD域
初始化SID后，云服务器防火墙的配置被修改成微软的默认配置，导致云服务器无法Ping通。您需要关闭防火墙 来宾或公用网络，或者放行需要开放的端口。下图表示防火墙 来宾或公用网络 的状态为已连接。打开控制面板修改防火墙设置，关闭 来宾...
部署应用概述
使用IntelliJ IDEA部署应用到镜像仓库 使用Eclipse部署应用到镜像仓库 部署应用至服务器 部署应用到Linux服务器 部署应用到Windows服务器 使用Visual Studio Code部署应用到远程服务器 部署应用至容器服务Kubernetes 使用IntelliJ IDEA部署...
部署GPU云服务器
GPU实例作为云服务器ECS的一...后续验证 部署完成后，单击GPU云服务器实例名称跳转到ECS控制台，通过Workbench远程连接GPU实例。可以看到AIACC-Training、AIACC-Inference已经安装完成。执行以下命令，确认NVIDIA 驱动已安装完成。nvidia-smi
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
使用ACK服务实现GPU的成本优化
GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。容器服务ACK 该服务提供了高性能且可伸缩的容器应用管理能力，支持企业级容器化应用的全生命周期管理...
灾备规划
应用的部署 部署关键应用前，您需要考虑以下三个要素：该应用包含哪些服务器 服务器之间的网络连接 服务器内需要做哪些配置 例如，一个简单的网页应用包含以下要素：该应用包含：1个数据库服务器，1个后端服务器，1个Web前端服务器。...
安全检查
背景信息 执行一键安全检查后，云安全中心会并发执行漏洞检测、基线检测、网站后门检测和资产指纹采集，会导致该服务器CPU和内存占用率升高，可能会对您服务器上部署的业务产生一定的影响。一键检查一般需要1~5分钟，建议您在业务低峰期...
EAS极简部署功能发布
提供一键式简化版的部署方式，快速拉起模型服务。优化内容 针对通用的部署场景提供真正简化版的部署方式，包括ModelScope模型部署、HuggingFace模型部署、Triton部署、TFserving部署、LLM、SDWebUI。在这些场景里，只需要提供模型的存储...
什么是集群极速部署工具FastGPU
在FastGPU即刻构建计算任务阶段：在开发主机上通过FastGPU一键部署集群，创建出任务所需的资源，包括计算资源（CPU、GPU）、存储资源（云盘、NAS文件系统等）、交互式资源（Tmux、Tensorboard）等。自动启动分布式训练任务，在训练过程中...
使用FastGPU加速AI训练/推理
本文通过使用FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行模型的训练或推理加速。使用FastGPU可快速搭建环境，使用AIACC可加快模型的训练/推理速度，两者协同使用，可有效提高AI模型的训练/推理效率和性能。...
GPU监控
云监控通过安装在阿里云主机（ECS实例）上的云监控插件，采集GPU的监控数据，您还可以为这些监控项设置报警规则。当某个监控项达到报警条件时，会给您发送报警通知，以便您及时关注其动态。前提条件 请确保您已在云服务器ECS上创建GPU计算...
更改共享GPU调度显存最小分配单位
单击页面下方的 一键部署，选中 调度组件（批量任务调度、GPU共享、GPU拓扑感知、NPU调度），然后单击 部署云原生AI套件。在 云原生AI套件 页面，单击组件ack-ai-installer所在行的 卸载，单击 确定。卸载完成后，单击组件ack-ai-installer...
云平台一键迁移
本文档介绍如何通过控制台一键迁移的方式将您的Windows或Linux服务器（包括腾讯云服务器和AWS云服务器）迁移至阿里云。前提条件 如果迁移腾讯云服务器：已在腾讯云访问管理控制台创建并获取SecretId和SecretKey。具体操作，请参见 访问密钥...
应用场景
推荐搭配使用：云服务器 ECS／GPU 服务器 EGS／高性能计算服务（Alibaba Cloud HPC）+容器服务+对象存储 OSS／文件存储 NAS／CPFS 相关文档：PyTorch分布式训练 TensorFlow分布式训练 微服务架构 实现敏捷开发和部署落地，加速企业业务迭代...
应用场景
云服务器ECS具有广泛的应用场景，既可以作为Web服务器或者应用服务器单独使用，又可以与其他阿里云服务集成提供丰富的解决方案。说明 云服务器ECS的典型应用场景包括但不限于本文描述，您可以在使用云服务器ECS的同时发现云计算带来的技术...
准实时推理场景
与函数计算同等GPU规格的GPU云服务器单价约为 14元/小时。更多计费详情，请参见 GPU云服务器计费。示例一 假设您的GPU函数一天调用量为3600次，每次为1秒钟，使用4 GB显存规格的GPU实例（模型大小为3 GB左右）。您的日均资源利用率（仅时间...
什么是云服务器ECS
云服务器ECS（Elastic Compute Service）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效...
快速搭建AI对话机器人
本文介绍如何使用阿里云GPU云服务器，基于ChatGLM-6B语言模型快速搭建AI对话机器人。背景信息 ChatGLM-6B是一个开源的、支持中英双语对话的语言模型，它基于General Language Model（GLM）架构，具有62亿参数；并使用了和ChatGPT相似的技术...
实例命名规则
命名规则 阿里云云服务器ECS提供了多种实例规格族，一种实例规格族又包括多个实例规格。其中，实例规格族名称格式为 ecs.<规格族>，实例规格名称为 ecs.<规格族>.<nx>large。实例具体命名含义如下所示：ecs：云服务器ECS的产品代号。规格...
与云服务器ECS对比
如果您需要使用更丰富的实例类型，如通用型、计算型、大数据型、弹性裸金属服务器、GPU/FPGA/NPU异构计算型等，支持高并发网站、视频编解码、大型游戏、复杂分布式集群应用等业务场景，请使用云服务器ECS产品。关于云服务器ECS的更多实例...
- 产品推荐
- 这些文档可能帮助您