[帮助文档] 基于Nginx Ingress Controller网关实现推理服务的灰度发布
在Raw Deployment部署模式下，应用的灰度发布需要基于网关实现。本文以Nginx Ingress Controller网关为例，介绍如何实现推理服务的灰度发布，并最终平稳地完成从v1到v2版本推理服务的升级。
[帮助文档] 什么是KServe
KServe是一个开源的云原生模型服务平台，旨在简化在Kubernetes上部署和运行机器学习模型的过程，支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件，提供声明式的API来部署模型，使得配置和管理模型服务变得更加容易。
[帮助文档] 基于KServe为服务配置弹性扩缩容策略
在部署与管理KServe模型服务过程中，需应对模型推理服务面临的高度动态负载波动。KServe通过集成Kubernetes原生的HPA（Horizontal Pod Autoscaler）技术及扩缩容控制器，实现了根据CPU利用率、内存占用情况、GPU利用率以及自定义性能指标，自动灵活地调整模型服务...
[帮助文档] 部署vLLM推理应用
vLLM（Vectorized Large Language Model）是一个高性能的大型语言模型推理库，支持多种模型格式和后端加速，适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例，演示如何部署一个vLLM推理服务。
[帮助文档] 基于KServe使用Fluid实现模型加速
随着技术的发展，AI应用的模型数据越来越大，但是通过存储服务（如OSS、NAS等）拉取这些大文件时可能会出现长时间的延迟和冷启动问题。您可以利用Fluid显著提升模型加载速度，从而优化推理服务的性能，特别是对于基于KServe的推理服务而言。本文以Qwen-7B-Chat-Int8模型、GPU类型为...
阿里云容器Kubernetes监控(九) - Kubernetes事件离线工具kube-eventer正式开源
前言 监控是保障系统稳定性的重要组成部分，在Kubernetes开源生态中，资源类的监控工具与组件百花齐放。除了社区自己孵化的metrics-server，还有从CNCF毕业的Prometheus等等，开发者可选的方案有很多。但是，只有资源类的监控是远远不够的，因为资源监控存在如下两个主要的缺欠： ...
容器开启数据服务之旅系列（三）：Kubernetes QoS助力在线运用与大数据离线运用的混部
容器开启数据服务之旅系列（三） （三）：Kubernetes QoS助力在线运用与大数据离线运用的混部 概述 本文是2018年大数据峰会上的一些分享，关于在线业务，离线业务在ACK（阿里云容器服务Kubernetes）的平台上通过对namespace, cgroup, quota的灵活组合完成在线，...
容器开启数据服务之旅系列（四）：Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制
容器开启数据服务之旅系列（四） Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制 概述 本文是2018年大数据峰会上的一些分享，关于在线业务，离线业务在ACK（阿里云容器服务Kubernetes）的平台上通过对bandwidth, disk quota的灵活组合完成在线...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
容器kubernetes相关内容
- kubernetes容器配置
- kubernetes容器平台
- kubernetes容器概念
- kubernetes k8s容器
- kubernetes版本容器
- 容器环境kubernetes
- 集成kubernetes容器
- kubernetes容器应用
- kubernetes容器重启
- kubernetes容器探针
- kubernetes容器重启策略
- kubernetes容器策略
- 容器kubernetes文档
- 容器kubernetes实践
- kubernetes实战容器
- kubernetes构建容器
- kubernetes swarm容器
- kubernetes学习笔记容器
- kubernetes容器安全
- kubernetes容器部署
- 容器kubernetes自动化
- kubernetes容器日志
- kubernetes服务容器
- kubernetes容器方案
- kubernetes部署容器
- 容器kubernetes openshift
- 容器平台kubernetes
- kubernetes容器调度
- kubernetes容器service
- 容器serverless kubernetes
- 容器应用kubernetes
- kubernetes容器设计模式
- 容器部署kubernetes
- 容器kubernetes应用程序
- kubernetes容器网络模型
- kubernetes容器容器镜像
- kubernetes pod容器
- kubernetes容器云原生
- kubernetes容器进阶篇
- kubernetes容器进阶篇进程
- kubernetes容器资源限制
- kubernetes容器资源
- 容器实践kubernetes
- kubernetes运行容器
- 容器kubernetes告警
- 容器kubernetes监控
- 容器系统kubernetes
- 故障kubernetes容器
- 多租户kubernetes容器运行时到sdn
容器更多kubernetes相关
- kubernetes容器k8s
- 容器kubernetes编排
- 容器kubernetes系统
- terraform容器kubernetes
- kubernetes配置容器
- kubernetes开源容器
- kubernetes容器技术容器
- kubernetes k8s企业级容器
- 应用容器kubernetes
- 容器kubernetes ack
- kubernetes容器数据
- 部署容器kubernetes
- kubernetes容器云计算
- kubernetes容器接口
- 容器kubernetes性能
- kubernetes容器技术专题k8s
- 部署kubernetes容器
- kubernetes集群容器
- kubernetes主机容器
- kubernetes容器集群
- 容器kubernetes节点
- kubernetes容器技术专题
- kubernetes容器镜像
- kubernetes容器服务集群
- 容器kubernetes调度
- kubernetes容器负载均衡
- 自动化kubernetes容器
- kubernetes容器运行操作
- kubernetes k8s容器运行时
- 容器云原生kubernetes
- kubernetes容器存储
- dockone微信kubernetes容器实践
- kubernetes init容器
- kubernetes容器编排设计理念指什么
- 容器构建kubernetes
- kubernetes扩展容器
- 容器kubernetes配置
- kubernetes容器主机
- kubernetes pause容器
- 容器优化kubernetes
- kubernetes容器技术专题k8s组件
- kubernetes容器部署应用
- 容器kubernetes托管版
- 容器数据服务kubernetes qos大数据离线