[帮助文档] 基于Nginx Ingress Controller网关实现推理服务的灰度发布
在Raw Deployment部署模式下，应用的灰度发布需要基于网关实现。本文以Nginx Ingress Controller网关为例，介绍如何实现推理服务的灰度发布，并最终平稳地完成从v1到v2版本推理服务的升级。
[帮助文档] 什么是KServe
KServe是一个开源的云原生模型服务平台，旨在简化在Kubernetes上部署和运行机器学习模型的过程，支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件，提供声明式的API来部署模型，使得配置和管理模型服务变得更加容易。
[帮助文档] 基于KServe为服务配置弹性扩缩容策略
在部署与管理KServe模型服务过程中，需应对模型推理服务面临的高度动态负载波动。KServe通过集成Kubernetes原生的HPA（Horizontal Pod Autoscaler）技术及扩缩容控制器，实现了根据CPU利用率、内存占用情况、GPU利用率以及自定义性能指标，自动灵活地调整模型服务...
[帮助文档] 部署vLLM推理应用
vLLM（Vectorized Large Language Model）是一个高性能的大型语言模型推理库，支持多种模型格式和后端加速，适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，演示如何部署一个vLLM推理服务。
[帮助文档] 基于KServe使用Fluid实现模型加速
随着技术的发展，AI应用的模型数据越来越大，但是通过存储服务（如OSS、NAS等）拉取这些大文件时可能会出现长时间的延迟和冷启动问题。您可以利用Fluid显著提升模型加载速度，从而优化推理服务的性能，特别是对于基于KServe的推理服务而言。本文以Qwen-7B-Chat-Int8模型、GPU类型为...
![[云原生] [kubernetes] 基于K8S安装kubesphere](https://ucc.alicdn.com/images/user-upload-01/4f63d45e100d428caf6288092751c7f6.png)
[云原生] [kubernetes] 基于K8S安装kubesphere
简介KubeSphere 是在 Kubernetes 之上构建的面向云原生应用的分布式操作系统，完全开源，支持多云与多集群管理，提供全栈的 IT 自动化运维能力，简化企业的 DevOps 工作流。它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用 (plug-and-play) 的集成。...
【云原生实战】Kubernetes上安装KubeSphere
安装步骤选择4核8G（master）、8核16G（node1）、8核16G（node2） 三台机器，按量付费进行实验，CentOS7.9安装Docker安装Kubernetes安装KubeSphere前置环境安装KubeSphere安装Dockersudo yum remove doc...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
云原生kubernetes相关内容
- 云原生kubernetes最佳实践
- kubernetes云原生
- 云原生devops kubernetes
- kubernetes云原生资源
- 云原生kubernetes二进制master
- 云原生kubernetes系统
- 云原生kubernetes centos7
- 云原生kubernetes集群部署kubekey
- 云原生kubernetes集群部署
- 云原生kubernetes k8s集群
- 云原生kubernetes插件
- 云原生kubernetes安装部署
- 云原生kubernetes策略
- 云原生kubernetes cka
- 云原生kubernetes kubeadm部署集群
- 云原生kubernetes多集群
- 云原生kubernetes集群master
- 云原生kubernetes集群k8s
- 云原生kubernetes kubeadm部署集群keepalived
- 云原生kubernetes kubeadm集群etcd
- 云原生kubernetes组件
- 云原生kubernetes etcd集群备份
- 云原生kubernetes kube-proxy报错
- 云原生kubernetes部署手册
- 云原生kubernetes运行
- kubernetes k8s云原生
- kubernetes云原生应用
- kubernetes云原生程序
- 云原生helm kubernetes
- 云原生k8s kubernetes
- 云原生应用开发operator原理kubernetes基础设施
- 云原生kubernetes资源管理
- 云原生kubernetes选择器
- 云原生kubernetes编排工具
- 云原生jenkins kubernetes
- sreworks云原生数智运维工程kubernetes资源编排
- 云原生kubernetes helm
- 云原生kubernetes nacos
- 云原生平台kubernetes
- 云原生kubernetes ack
- kubernetes云原生部署
- 云原生kubernetes负载均衡
- 云原生kubernetes二进制集群
- 云原生kubernetes二进制集群部署etcd
- 云原生kubernetes yaml文件
- 云原生kubernetes核心组件兜兜转转遇见
- 云原生kubernetes原理
- 云原生kubernetes kubeadm安装部署
- 云原生kubernetes持久化存储pv pvc