云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
阿里云异构计算产品总览
GPU云服务器 GPU云服务器是基于GPU应用的计算服务器。GPU在执行复杂的数学和几何计算方面有着独特的优势。特别是浮点运算、并行运算等方面，GPU可以提供上百倍于CPU的计算能力。作为阿里云弹性计算家族的一员，GPU云服务器结合了GPU计算力...
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
什么是推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性...
部署GPU云服务器
GPU实例作为云服务器ECS的一...后续验证 部署完成后，单击GPU云服务器实例名称跳转到ECS控制台，通过Workbench远程连接GPU实例。可以看到AIACC-Training、AIACC-Inference已经安装完成。执行以下命令，确认NVIDIA 驱动已安装完成。nvidia-smi
使用FastGPU加速AI训练/推理
选用的产品列表 产品名称 说明 GPU云服务器 该服务提供了GPU算力的弹性计算服务，具有超强的计算能力，可有效缓解计算压力，提升您的业务效率，帮助您提高企业竞争力。对象存储OSS 是一款海量、安全、低成本、高可靠的云存储服务，多种存储...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
查看服务器信息
关联产品 在该区域，系统会显示 云虚拟主机、云服务器ECS和无影云电脑的相关信息，单击对应服务名称，可以跳转到对应服务的官网页面。示例：查询流量使用情况 重要 对于每月无固定流量的套餐，不显示流量使用情况。更多信息，请参见 套餐...
查看实例监控信息
说明 在监控信息页面，您可以按时间维度查看服务器流量、vCPU、内存、网络带宽以及磁盘（系统盘）的详细信息。由于流量查询间隔大于1小时，故按时间维度查询近1小时的流量，则不显示数据。通过云监控控制台查看 云监控为云上用户提供开箱即...
全链路流量控制的约束限制
全链路流量控制提供了灵活的灰度发布方式，同时也有一些限制以及约定。如果一个应用实例分组同时属于多个流量控制环境，会造成流量控制冲突。所以，在全链路流量控制中，一个应用实例分组只能属于一个灰度环境。说明 单个应用流量控制里对...
流量控制
阿里云为保障云服务的稳定以及云资源的公平使用，云服务器ECS开启了API访问的流量控制，以防止恶意攻击和滥用API。本文介绍如何查看云服务器ECS API的流量控制，并提供API流量控制的合理化建议。查看API流量控制 您可以通过 API速率配额 ...
API管理
例如，API流量限制 为每秒查询率是1000，App1的流量限制为每秒查询率是500，App2的流量限制为每秒查询率是500，App3的流量限制为每秒查询率是500，各App流量限制的总和大于API的流量限制，但流量限制的上线为API流量限制。APP流量限制 大于...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
使用限制
如果使用SDK或CLI等运维方式调用API时被流量控制并报错，相应的功能在阿里云云服务控制台操作中也会被流量控制。合理化建议 调用机器翻译 API的请求在达到流量控制阈值时，会报Throttling错误码且请求不会被系统正确处理。因此您在使用时，...
全链路流量控制简介
EDAS支持单应用的灰度流量控制和多应用的全链路流量控制。使用场景 您可以基于HTTP和HSF两种方式完成单应用和多应用的流量控制。单应用升级 应用迭代过程中会不断有新版本发布，在正式发布前，可以使用流量控制先进行小规模灰度验证，通过...
使用限制
如果使用SDK或CLI等运维方式调用API时被流量控制并报错，相应的功能在阿里云云服务控制台操作中也会被流量控制。合理化建议 调用机器翻译 API的请求在达到流量控制阈值时，会报Throttling错误码且请求不会被系统正确处理。因此您在使用时，...
配置共享GPU调度节点选卡策略
配置项 说明 实例规格 架构 选择 GPU云服务器，选择多个GPU实例规格。由于只有在节点有多张GPU卡的情况下，节点选卡策略才能看出效果，建议选择带有多张GPU卡机型。期望节点数 设置节点池初始节点数量。如无需创建节点，可以填写为0。节点...
查看及管理运维监控API
例如，API流量限制 为每秒查询率是1000，App1的流量限制为每秒查询率是500，App2的流量限制为每秒查询率是500，App3的流量限制为每秒查询率是500，各App流量限制的总和大于API的流量限制，但流量限制的上线为API流量限制。APP流量限制 大于...
接入Nvidia GPU监控数据
Nvidia GPU服务器中提供多项监控指标，您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建实例。具体操作，请参见 创建实例。步骤一：安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...
如何使用全链路流量控制排查应用问题
当部署在EDAS中的HSF微服务应用出现问题时，可以通过全链路流量控制排查链路中具体应用的实际问题，提升排查效率，保证整个微服务应用正常运行。本文将以一个示例介绍如何通过全链路流量控制排查链路中的应用问题。限制说明 使用灰度发布...
升级配置
例如，在升级前，您的服务器流量配额为400 GB，本月您已使用了100 GB流量。在升级至600 GB的流量配额后，本月已使用流量为100 GB，剩余流量配额为500 GB。说明 部分套餐配置中不提供每月固定流量配额（例如：1核vCPU、1 GB内存、1 Mbps带宽...
创建流量控制环境（多应用）
流量控制环境是灰度发布的核心，您需要在流量控制环境中进行多个应用的流量控制。本文介绍如何创建流量控制环境。前提条件 创建分组。如果您使用RAM用户进行全链路流量控制，请为RAM用户添加 查看集群、管理应用、查看应用、查看服务 和 ...
Designer中GPU服务器及对应算法组件下线
Designer中GPU服务器及对应算法组件下线，后续可使用云原生版本 停止服务内容 因当前提供服务的V100、P100服务器集群即将过保，PAI将在2024年3月1日正式下线Designer中的TensorFlow(GPU)、MXNet、PyTorch算法组件。您后续可继续使用云原生...
使用须知
为保证您正常的应用部署及使用，请您阅读以下注意事项。轻量应用服务器使用须知 轻量应用服务器的实例适用于小型Web...轻量应用服务器流量计费说明的详细信息，请参见 计费概述。轻量应用服务器退款规则及流程的具体操作，请参见 退款说明。
监控灰度流量
背景信息 监控灰度流量包括监控单个应用的灰度流量和监控涉及多个应用的全链路流量控制的流量。监控单个应用的灰度流量 单个应用基于应用实例分组进行灰度发布，发布后，您可以基于应用实例分组监控应用及实例的流量，具体监控步骤如下：...
在轻量应用服务器控制台中不显示服务器的内存和磁盘的...
问题描述 在阿里云轻量应用服务器控制台中，查看轻量应用服务器的监控信息时，不显示内存和系统盘的使用信息。问题原因 在轻量应用服务器管理控制台中，服务器的内存和系统盘数据通过云监控插件获取，当您进行重置系统等操作后，可能造成云...
如何在轻量应用服务器控制台中使用自助诊断功能
概述 在轻量应用服务器控制台中，自助诊断功能相关功能没有具体的显示信息，也无法查询或者进行诊断。只有在操作轻量应用服务器控制台的过程中，出现错误提示，才可以使用提交自助诊断功能。若您在操作轻量应用服务器控制台的过程中，出现...
重置轻量应用服务器的密码后未生效
不同操作系统的服务器管理员用户名信息不同，具体说明如下：Linux系统：服务器管理员用户名为 root。Windows系统：服务器管理员用户名为 Administrator。解决方案 您可以根据实际情况，参考以下操作排查。如果需要进行数据变更或重启实例等...
什么是流量防护
流量防护以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来保障业务的稳定性，提供更专业稳定的流量防护手段、秒级的流量水位分布分析功能，是阿里巴巴双十一技术体系中的核心组件，同时也是开源框架Sentinel的商业化产品。...
远程连接Linux服务器
您可以通过轻量应用服务器管理控制台或者第三方客户端工具远程连接Linux服务器。本文主要介绍如何远程连接Linux服务器。前提条件 待连接的Linux轻量应用服务器的状态为 运行中。如果您需要使用密码的方式远程连接服务器，确保已设置服务器...
- 产品推荐
- 这些文档可能帮助您