[帮助文档] 配置节点即时弹性功能实现注册集群节点自动伸缩

注册集群中使用节点即时弹性功能可以帮助您即时地感知工作负载情况,根据实际情况自动地扩缩云上节点资源。工作负载因节点资源不足而无法调度时,节点即时弹性根据工作负载大小灵活地扩容节点,以满足工作负载运行需求;当云上节点利用率较低时,节点即时弹性会周期性检查出满足缩容条件的云上节点进行释放,节约云上运行成...

[帮助文档] 基于KServe为服务配置弹性扩缩容策略

在部署与管理KServe模型服务过程中,需应对模型推理服务面临的高度动态负载波动。KServe通过集成Kubernetes原生的HPA(Horizontal Pod Autoscaler)技术及扩缩容控制器,实现了根据CPU利用率、内存占用情况、GPU利用率以及自定义性能指标,自动灵活地调整模型服务...

使用ASK容器化部署大语言模型FastChat

1 课时 |
16 人已学 |
免费

如何在 ACK 中使用 MSE Ingress

1 课时 |
114 人已学 |
免费

从概念、部署到优化,Kubernetes Ingress 网关的落地实践

1 课时 |
188 人已学 |
免费
开发者课程背景图

[帮助文档] 为KServe配置Prometheus监控以监控模型服务的性能和健康状况

KServe提供了一套默认的Prometheus指标来帮助您监控模型服务的性能和健康状况。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,介绍如何为KServe框架配置Prometheus监控。

[帮助文档] 通过Kubernetes YAML快速创建或管理ECI类型的伸缩组

为了满足您使用Kubernetes YAML方式快速部署和自动弹性调配资源,您可以在弹性伸缩控制台通过配置Kubernetes YAML文件创建ECI类型的伸缩组来快速部署业务。该方式让您无需关注底层节点和集群运维管理需求,可以更专注业务逻辑,有效提高开发效率。本文介绍如何通过Kubernetes ...

[帮助文档] 通过配置Annotation对ELB进行的常见配置

通过Service YAML文件中的Annotation(注解),可以实现丰富的负载均衡功能。本文从边缘负载均衡(Edge Load Balancer,ELB)、监听和后端服务器组以及边缘弹性公网IP(边缘EIP)四种资源维度来介绍通过注解可以对ELB进行的常见配置操作。

自建K8S通过PVC配置NAS动态磁盘要点回顾

自建K8S通过PVC配置NAS动态磁盘要点回顾

为什么选择NAS主要有三个原因,一是管理方便,可以像本地磁盘一样进行文件管理和程序读写,只需要在目标Pod上进行简单的映射,不需要再单独写开发接口;二是NAS可以当作永久性磁盘使用,不用担心因为K8S问题影响数据本身,而且可以支持多Node读写;三是便宜!便宜࿰...

K8S集群配置Option解决Nas Hang住问题

目前NFS在网络出现抖动时,有时(极小概率)会出现挂载hang住的情况,可以通过配置NFS Options参数来减少此问题的发生。 阿里云K8S集群支持Flexvolume、原生NFS两种方式挂载NAS卷; Flexvolume支持Nas Options设置 升级Flexvolume镜像版本:v1....

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
智算时代,基于 Kubernetes 落地云原生 AI
容器服务 ACK 加速企业应用现代化升级
容器服务 ACK – 智算时代的现代化应用平台
立即下载 立即下载 立即下载
相关镜像

容器服务Kubernetes版配置相关内容