[帮助文档] 在ACK集群上通过容器化部署并运行Slurm

容器服务 Kubernetes 版 ACK(Container Service for Kubernetes)通过提供Slurm on Kubernetes解决方案及ack-slurm-operator应用组件,使得您能够在阿里云的ACK集群上便捷、高效地部署和管理Slurm(Simple Linu...

[帮助文档] 基于KServe为服务配置弹性扩缩容策略

在部署与管理KServe模型服务过程中,需应对模型推理服务面临的高度动态负载波动。KServe通过集成Kubernetes原生的HPA(Horizontal Pod Autoscaler)技术及扩缩容控制器,实现了根据CPU利用率、内存占用情况、GPU利用率以及自定义性能指标,自动灵活地调整模型服务...

云原生可观测最佳实践

1 课时 |
39 人已学 |
免费

阿里云云原生助理工程师认证(ACA)课程

66 课时 |
214 人已学 |
免费

高校精品课-华东师范大学-云原生数据库

13 课时 |
277 人已学 |
免费
开发者课程背景图

[帮助文档] 使用Arena进行模型微调和模型管理

本文以大语言模型Qwen-7B-Chat为例,并结合Arena工具,演示如何在提交模型微调作业的同时,对模型微调作业所产生的模型进行管理。

[帮助文档] 什么是KServe

KServe是一个开源的云原生模型服务平台,旨在简化在Kubernetes上部署和运行机器学习模型的过程,支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件,提供声明式的API来部署模型,使得配置和管理模型服务变得更加容易。

[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

云原生|kubernetes|networkPolicy网络策略详解

前言:networkPolicy是kubernetes集群的一个重要安全特性。顾名思义,网络策略,控制网络流量的一个资源。那么,kubernetes集群的网络是由docker虚拟网卡,cni网络插件,flannel网络插件(也可能会使用calico,weaver等等其它网络插件)这些模块组成的。主要...

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度

前言:kubernetes集群不是简单的安装部署就完事了,还需要根据业务的性质设定一些策略,比如,某些pod不希望被调度到硬件条件比较差的节点,某些pod又希望调度到含有比如有特定的硬件GPU的节点上。又或者某个节点由于硬件资源比如CPU,内存并没有彻底耗尽,但如果在继续调度pod到此节点有造成集群...

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度(三)

(2)亲和性pod调度pod和node节点标签之间的定向调度上面的定向调度还是比较粗糙的方式,因为如果我们设置了定向调度,但标签忘记打了,或者标签写错了,nodeSelector又设置了,那么部署将会变成pending。无疑,我们还是希望每次的部署都是成功的,因此...

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度(二)

关于污点的小结:污点存在的意义:使用 kubectl taint 命令可以给某个 node节点设置污点,Node 被设置上污点之后就和 Pod 之间存在了一种互斥的关系,可以让 Node 拒绝 Pod 的调度执行,甚至将 Node 已经存在的 Pod 驱逐出去:key=value:effe...

云原生|kubernetes |一文带你搞懂pod调度策略,驱逐策略,污点、容忍调度(一)

前言:kubernetes集群不是简单的安装部署就完事了,还需要根据业务的性质设定一些策略,比如,某些pod不希望被调度到硬件条件比较差的节点,某些pod又希望调度到含有比如有特定的硬件GPU的节点上。又或者某个节点由于硬件资源比如CPU,内存并没有彻底耗尽,但如果在继续调度pod到此节点有造成集群...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云云原生
阿里云云原生
关注云原生中间件、微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生技术趋势、云原生大规模的落地实践
9171+人已加入
加入
相关电子书
更多
智算时代,基于 Kubernetes 落地云原生 AI
企业运维之云原生和Kubernetes 实战
深耕云原生技术– Kubernetes应用渐入佳境
立即下载 立即下载 立即下载

云原生kubernetes相关内容