云速搭部署GPU云服务器
通过云速搭实现GPU云服务器的部署，这里使用 ECS 的 UserData 特性自动安装GPU 驱动、AIACC 等组件，减少配置工作量。涉及产品 专有网络VPC GPU云服务器 弹性公网IP 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 GPU ...
API参考
如果您熟悉网络服务协议和一种以上编程语言，推荐您调用API管理您的云上资源和开发自己的应用程序。GPU云服务器适用的API和云服务器ECS一致，详情请参见 ECS API简介 和 ECS API概览。
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
使用RAPIDS加速机器学习最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速机器学习环境。使用容器服务Kubernetes版部署RAPIDS加速机器学习环境。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务器 该...
使用RAPIDS加速图像搜索最佳实践
方案优势 阿里云GPU云服务器资源丰富，可灵活选择在GPU上搭建RAPIDS加速图像搜索环境。使用容器服务Kubernetes版可快速部署图像搜索环境和分发应用。共享存储NAS可提供强大的存储性能。部署架构图 选用的产品列表 产品名称 说明 GPU云服务...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
部署GPU云服务器
请按照标签顺序依次点击 新建>新建空白应用，构建如下图所示的包含GPU云服务器实例的应用架构：本文所选地域为 华北2（北京）可用区H。双击GPU实例，配置相关参数。参考 创建GPU实例，选择对应的实例规格、镜像及版本。需要修改自定义登录...
Tesla或GRID驱动安装指引
GPU实例本身并未配备相关驱动，只有安装了驱动的GPU实例，才能实现计算加速或图形渲染等功能。根据不同GPU实例规格安装与之匹配的Tesla或GRID驱动，...如果GPU实例安装驱动后，在使用过程中遇到黑屏或其他问题，请参见 GPU云服务器常见问题。
异构计算产品最佳实践概览
GPU云服务器 搭建Linux环境License Server 使用GRID驱动必须申请相应的License，同时需要将License部署在License Server上，本教程以Ubuntu 18.04操作系统为例，介绍如何搭建Linux操作系统的License Server。搭建Windows环境的License ...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
AIGC文本生成视频
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ModelScope框架，实现使用文本生成视频。背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片...
配置动态内存优化
在容器服务K8s集群或Serverless K8s集群中创建或部署应用时，您可以根据应用内存占用率水位，一键开启动态内存优化来提升应用的堆内存占用率。合理地使用动态内存优化，不仅能提升单应用的内存利用率，还可以提升容器服务K8s集群中单节点...
阿里云异构计算产品总览
而神行工具包（DeepGPU）服务于GPU云服务器，为GPU云服务器搭配了GPU计算服务增强能力，其包括神龙AI加速引擎AIACC、通信优化库AIACC-ACSpeed、计算优化编译器AIACC-AGSpeed、集群极速部署工具FastGPU、GPU容器共享技术cGPU。GPU云服务器 ...
什么是推理引擎DeepGPU-LLM
产品简介 DeepGPU-LLM作为阿里云开发的一套推理引擎，具有易用性和广泛适用性，旨在优化大语言模型在GPU云服务器上的推理过程，通过优化和并行计算等技术手段，为您提供免费的高性能、低延迟推理服务。DeepGPU-LLM的关联布局图如下所示：...
拉高服务器内存占用率
若需要测试应用在内存占用率高的情况下是否能正常运行，您可以通过 PelicanDT 轻松地模拟服务器内存占用率高的测试环境。本文将介绍使用 PelicanDT 拉高服务器内存占用率的方法。前提条件 您已安装 PelicanDT SDK，请参见 安装 PelicanDT ...
Designer中GPU服务器及对应算法组件下线
Designer中GPU服务器及对应算法组件下线，后续可使用云原生版本 停止服务内容 因当前提供服务的V100、P100服务器集群即将过保，PAI将在2024年3月1日正式下线Designer中的TensorFlow(GPU)、MXNet、PyTorch算法组件。您后续可继续使用云原生...
接入Nvidia GPU监控数据
Nvidia GPU服务器中提供多项监控指标，您可以将Nvidia GPU服务器中的监控指标接入到全栈可观测应用中，进行可视化展示。前提条件 已创建实例。具体操作，请参见 创建实例。步骤一：安装NVIDIA GPU驱动 日志服务 使用 nvidia-smi 命令采集...
应用场景
GPU云服务器适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景，神行工具包（DeepGPU）为了配合GPU云服务器的计算服务增强能力，也适用于所有AI训练场景和AI推理场景。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的...
什么是GPU云服务器
对比项 GPU云服务器 GPU自建服务器 灵活性 能够快速开通一台或多台GPU云服务器实例。实例规格（vCPU、内存及GPU）支持灵活变更，并且支持在线升降配。带宽升降自由。服务器购买周期长。服务器规格固定，无法灵活变更。带宽一次性购买，无法...
RDS PostgreSQL云盘版实例的内存利用率监控项优化
RDS PostgreSQL云盘实例基于云服务部署，需预留部分内存为系统、管控服务使用。当前 内存利用率 指标无法精确衡量业务负载，本次优化将提升内存利用率指标的准确性，帮助您更好地监控实例的真实运行状况。优化内容 内存利用率计算逻辑。...
创建GPU实例
如果您购买的是包年包月实例，请阅读《云服务器ECS服务条款》、《镜像商品使用条款》和《云服务器ECS退订说明》，如无疑问，选中《云服务器ECS服务条款》|《镜像商品使用条款》|《云服务器ECS退订说明》。单击 确定下单。在支付页面，查看...
监控面板说明
GPU监控2.0基于Exporter+Prometheus+Grafana体系打造更为丰富的GPU监控场景。本文介绍监控大盘中各个监控面板（Panel）的含义。Panel介绍 GPU监控2.0包含集群维度监控大盘和节点维度监控大盘。两种大盘的具体说明如下：集群维度监控大盘 ...
在GPU实例上使用RAPIDS加速机器学习任务
本文介绍了如何在GPU实例上基于NGC环境使用RAPIDS加速库，加速数据科学和机器学习任务，提高计算资源的使用效率。背景信息 RAPIDS（全称Real-time Acceleration Platform for Integrated Data Science）是NVIDIA针对数据科学和机器学习推出...
什么是神行工具包（DeepGPU）
神行工具包（DeepGPU）是阿里云专门为GPU云服务器搭配的GPU计算服务增强工具集合，旨在帮助开发者在GPU云服务器上更快速地构建企业级服务能力。GPU云服务器搭配神行工具包（DeepGPU）中的组件可以帮助您更方便地利用阿里云的云上GPU资源，...
通过性能监控分析及优化应用程序的性能
本文介绍如何运用性能监控（火焰图等）工具，分析应用程序的性能数据以及实现应用程序的CPU、内存优化。背景信息 日志服务性能监控平台为开发者提供开放、一站式性能持续分析功能，目前已完全兼容Pyroscope开源SDK和Agent。本实践基于A公司...
云服务使用限制索引
弹性计算 云服务 使用限制 云服务器ECS 使用限制 弹性裸金属服务器 使用限制 FPGA云服务器 使用限制 GPU云服务器 使用限制 存储容量单位包 使用限制 块存储 使用限制 轻量应用服务器 使用限制 专有宿主机 使用限制 批量计算 使用限制 容器...
重启实例
GPU实例作为云服务器ECS的一类实例规格，保持了与ECS实例相同的管理操作。本文介绍如何通过控制台重启实例。前提条件 待重启的实例必须处于 运行中 状态。背景信息 重启操作是维护云服务器的一种常用方式，如系统更新、重启保存相关配置等...
系统类故障排查
概述 本文主要介绍使用阿里云服务器ECS时的系统类故障排查，包含CPU、磁盘I/O、内存、硬盘、带宽资源占用异常的问题排查与定位。详细信息 说明 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，...
创建自定义集成并发送测试事件
测试事件场景：当服务器内存使用率大于80%，发送告警通知，通知中包含以下信息：服务器所在机房 服务器ID 服务器IP 服务器名称 当前内存使用率 步骤一：创建自定义集成 登录 ARMS控制台，在左侧导航栏选择 告警管理>集成。在 告警集成 页签...
自动定时重启ECS云服务器
内存泄漏：有的程序可能存在内存泄漏的问题，长时间运行后可能会消耗大量的服务器内存，影响服务器性能。通过定时重启可以释放这部分内存。高负载运行：对于一些需要持续高负载运行的服务器，定时进行重启可以避免因长时间高负载运行带来的...
在GPU实例上部署NGC环境
背景信息 NGC作为一套深度学习生态系统，阿里云在镜像市场提供了针对NVIDIA Pascal GPU优化的NGC容器镜像。通过部署镜像市场的NGC容器镜像，您能简单快速地部署NGC容器环境，即时访问优化后的深度学习框架，极大程度缩减产品开发以及业务...
创建弹性裸金属服务器实例
背景信息 创建弹性裸金属服务器实例和创建普通云服务器实例的步骤类似，本文仅介绍弹性裸金属特有的基本配置项，如果您想了解其他通用配置，请参见 自定义购买实例。操作步骤 登录 ECS管理控制台。在左侧导航栏，选择 实例与镜像>实例。...
在ECS实例内访问网站提示“Nginx 502 bad gateway”...
本文介绍在ECS实例上使用浏览器访问网站时，提示“Nginx 502 Bad Gateway”错误的问题原因和解决方案。问题原因“Nginx 502 Bad Gateway”错误表示访问请求的php-cgi进程已经开始执行，但是由于读取资源失败等原因没有执行完毕，导致...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
远程桌面无法连接到Windows实例的快速排查方法
当您的云服务器无法远程登录时，我们建议您首先检查是否可以通过控制台远程登录，如何通过阿里云VNC工具远程登录，请参见 通过VNC远程登录Windows实例。再参见以下排查方法，排查无法远程连接Windows实例的原因。步骤一：使用管理终端登录...
无法远程连接Windows实例的排查方法
这种情况可能是服务器内存不足导致，需要检查服务器的内存使用情况。具体操作如下。使用VNC方式登录Windows实例。具体操作，请参见 通过密码认证登录Windows实例。选择 开始>管理工具>事件查看器，查看是否存在内存资源不足的警告日志信息...
监控指标说明
GPU监控2.0基于Exporter+Prometheus+Grafana体系打造更为丰富的GPU可观性场景，支持您基于容器服务开发的GPU Exporter监控指标构建Grafana大盘。本文介绍GPU监控2.0指标的详细信息。指标说明 GPU监控2.0使用的GPU Exporter在兼容开源DCGM ...
无法连接Linux实例的排查方法
这种情况可能是服务器内存不足导致，需要检查服务器的内存使用情况。具体操作如下。使用VNC方式登录Linux实例。具体操作，请参见 通过密码认证登录Linux实例。查看内存使用情况，如果存在内存不足情况，建议您升配实例规格来解决资源瓶颈...
MongoDB实例内存使用率高问题
解决策略 内存优化并不是尽可能地减少内存使用，而是在保证系统性能正常的前提下，内存足够使用且稳定，在机器资源和性能中达到一个最佳的折衷。云数据库 MongoDB 版 帮助用户指定了CacheSize的大小，该值不支持修改。解决内存使用的策略...
Tair小版本发布日志
为提升用户体验，云原生内存数据库Tair 会不定期地发布小版本，用于丰富云产品功能或修复已知缺陷。您可以参阅本文了解Tair小版本的更新说明。查询或升级实例的小版本 您可以通过控制台查看当前的小版本，具体操作及升级小版本的其注意事项...
- 产品推荐
- 这些文档可能帮助您