[帮助文档] 基于Nginx Ingress Controller网关实现推理服务的灰度发布
在Raw Deployment部署模式下，应用的灰度发布需要基于网关实现。本文以Nginx Ingress Controller网关为例，介绍如何实现推理服务的灰度发布，并最终平稳地完成从v1到v2版本推理服务的升级。
[帮助文档] 什么是KServe
KServe是一个开源的云原生模型服务平台，旨在简化在Kubernetes上部署和运行机器学习模型的过程，支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件，提供声明式的API来部署模型，使得配置和管理模型服务变得更加容易。
[帮助文档] 基于KServe为服务配置弹性扩缩容策略
在部署与管理KServe模型服务过程中，需应对模型推理服务面临的高度动态负载波动。KServe通过集成Kubernetes原生的HPA（Horizontal Pod Autoscaler）技术及扩缩容控制器，实现了根据CPU利用率、内存占用情况、GPU利用率以及自定义性能指标，自动灵活地调整模型服务...
[帮助文档] 部署vLLM推理应用
vLLM（Vectorized Large Language Model）是一个高性能的大型语言模型推理库，支持多种模型格式和后端加速，适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，演示如何部署一个vLLM推理服务。
[帮助文档] 基于KServe使用Fluid实现模型加速
随着技术的发展，AI应用的模型数据越来越大，但是通过存储服务（如OSS、NAS等）拉取这些大文件时可能会出现长时间的延迟和冷启动问题。您可以利用Fluid显著提升模型加载速度，从而优化推理服务的性能，特别是对于基于KServe的推理服务而言。本文以Qwen-7B-Chat-Int8模型、GPU类型为...
Kubernetes容器的重启策略
容器重启策略 Pod 的 spec 中包含一个 restartPolicy 字段，其可能取值包括以下情况： Always：总是重启，也是默认值 OnFailure：容器异常退出状态码非 0 重启 Never：从不重启 restartPolicy 适用于 Pod 中的所有容器。restartPolic...
Kubernetes----Pod配置容器重启策略
【原文链接】一、重启策略pod的重启策略有3种，如下：Always：容器失效时，自动重启该容器，这是默认值OnFailure：容器停止运行且退出码不为0时重启Never：不论状态为何，都不重启该容器重启策略适用于pod对象中的所有容器，首次需要重启的容器，将在其需要时立即进行重启，随后再次需要重启的...
Kubernetes 原生是否具备容器重启能力？
Kubernetes 原生是否具备容器重启能力？
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
容器kubernetes相关内容
- kubernetes容器配置
- kubernetes容器平台
- kubernetes容器概念
- kubernetes k8s容器
- kubernetes版本容器
- 容器环境kubernetes
- 集成kubernetes容器
- kubernetes容器应用
- kubernetes容器探针
- kubernetes容器重启策略
- kubernetes容器策略
- 容器kubernetes文档
- 容器kubernetes实践
- kubernetes实战容器
- kubernetes构建容器
- kubernetes swarm容器
- kubernetes学习笔记容器
- kubernetes容器安全
- kubernetes容器部署
- 容器kubernetes自动化
- kubernetes容器日志
- kubernetes服务容器
- kubernetes容器方案
- kubernetes部署容器
- 容器kubernetes openshift
- 容器平台kubernetes
- kubernetes容器调度
- kubernetes容器service
- 容器serverless kubernetes
- 容器应用kubernetes
- kubernetes容器设计模式
- 容器部署kubernetes
- 容器kubernetes应用程序
- kubernetes容器网络模型
- kubernetes容器容器镜像
- kubernetes pod容器
- kubernetes容器云原生
- kubernetes容器进阶篇
- kubernetes容器进阶篇进程
- kubernetes容器资源限制
- kubernetes容器资源
- 容器实践kubernetes
- kubernetes运行容器
- 容器kubernetes告警
- 容器kubernetes监控
- 容器系统kubernetes
- 故障kubernetes容器
- 多租户kubernetes容器运行时到sdn
容器更多kubernetes相关
- kubernetes容器k8s
- 容器kubernetes编排
- 容器kubernetes系统
- terraform容器kubernetes
- kubernetes配置容器
- kubernetes开源容器
- kubernetes容器技术容器
- kubernetes k8s企业级容器
- 应用容器kubernetes
- 容器kubernetes ack
- kubernetes容器数据
- 部署容器kubernetes
- kubernetes容器云计算
- kubernetes容器接口
- 容器kubernetes性能
- 容器kubernetes离线
- kubernetes容器技术专题k8s
- 部署kubernetes容器
- kubernetes集群容器
- kubernetes主机容器
- kubernetes容器集群
- 容器kubernetes节点
- kubernetes容器技术专题
- kubernetes容器镜像
- kubernetes容器服务集群
- 容器kubernetes调度
- kubernetes容器负载均衡
- 自动化kubernetes容器
- kubernetes容器运行操作
- kubernetes k8s容器运行时
- 容器云原生kubernetes
- kubernetes容器存储
- dockone微信kubernetes容器实践
- kubernetes init容器
- kubernetes容器编排设计理念指什么
- 容器构建kubernetes
- kubernetes扩展容器
- 容器kubernetes配置
- kubernetes容器主机
- kubernetes pause容器
- 容器优化kubernetes
- kubernetes容器技术专题k8s组件
- kubernetes容器部署应用
- 容器kubernetes托管版
- 容器数据服务kubernetes qos大数据离线