[帮助文档] 基于GPU指标实现弹性伸缩

Kubernetes提供了Custom Metrics机制,该机制可以对接阿里云Prometheus监控来采集GPU指标。本文介绍如何部署阿里云Prometheus监控,并结合示例说明如何通过阿里云Prometheus监控观测GPU指标,实现容器的弹性伸缩。

[帮助文档] GPU设备插件重启和GPU设备隔离

GPU设备插件(GPU Device-Plugin)是Kubernetes集群中用于管理每个节点的GPU的组件,它使得Kubernetes能够更方便、高效地利用GPU资源。本文介绍在独占GPU调度场景下,如何对节点的GPU Device-Plugin进行重启和GPU设备隔离等操作,以及如何查看和更新...

使用ASK容器化部署大语言模型FastChat

1 课时 |
16 人已学 |
免费

如何在 ACK 中使用 MSE Ingress

1 课时 |
114 人已学 |
免费

从概念、部署到优化,Kubernetes Ingress 网关的落地实践

1 课时 |
188 人已学 |
免费
开发者课程背景图

[帮助文档] 利用DCGM实现GPU的性能分析

NVIDIA GPU上存在一些硬件计数器,这些计数器可以用来收集一些设备级别的性能指标,例如GPU利用率、内存使用情况等。借助NVIDIA提供的NVML(NVIDIA Management Library)库或DCGM(Data Center GPU Manager)工具能够查询这些硬件层提供的指标...

[帮助文档] 如何在ACK专有版集群中使用共享GPU调度

如您需要在ACK专有版集群中使用共享GPU调度基础版,请参见以下文档。ACK专有版集群基础版迁移专业版安装共享GPU调度组件运行共享GPU调度组件使用共享GPU调度实现仅共享不隔离能力使用共享GPU调度实现cGPU算力分配策略解决专业版集群升级共享GPU调度失效问题

[帮助文档] 如何配置共享GPU调度仅共享不隔离策略

在某些场景下,您可能不需要GPU隔离模块参与共享GPU调度。例如,有些业务应用本身提供显存限制能力,类似于Java应用启动时,可以通过选项指定该应用能够使用的最大内存值。这种情况下,使用GPU隔离模块隔离业务显存反而会有问题。对此,共享GPU调度支持某些节点不安装GPU隔离模块的选项。本文介绍如何配...

尝鲜阿里云容器服务Kubernetes 1.16,共享TensorFlow实验室《二》--共享GPU的弹性

尝鲜阿里云容器服务Kubernetes 1.16,共享TensorFlow实验室《二》--共享GPU的弹性

上一篇文章《尝鲜阿里云容器服务Kubernetes 1.16,共享TensorFlow实验室》我们讲述了如何通过CGPU的方案来实现CGPU资源的共享和隔离。本文介绍基于CGPU资源的弹性能力。ps:下面的说明是基于上一篇文章的环境来进行的描述,环境的搭建请参考上一篇文章。 配置弹性伸缩组 在“集群...

kubernetes可以在pod之间共享单个GPU吗?

kubernetes可以在pod之间共享单个GPU吗?

kubernetes可以在pod之间共享单个GPU吗?

是否有可能在kubernetes pod 之间共享一个GPU ?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
智算时代,基于 Kubernetes 落地云原生 AI
容器服务 ACK 加速企业应用现代化升级
容器服务 ACK – 智算时代的现代化应用平台
立即下载 立即下载 立即下载
相关镜像