[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

[帮助文档] 在ACK Edge集群中使用负载均衡类型Service暴露应用

在Kubernetes集群中,Service是将运行的一组Pod的网络应用进行服务暴露的标准方法,能够解耦前端和后端的关联,从而实现松耦合的微服务设计。Service服务支持多种类型,例如ClusterIP、NodePort、LoadBalancer等。本文主要为您介绍如何在ACK Edge集群中,...

容器应用的高弹性架构

9 课时 |
31 人已学 |
免费

容器应用更新与灰度发布

9 课时 |
47 人已学 |
免费

Serverless容器入门和实践案例

1 课时 |
41 人已学 |
免费
开发者课程背景图

[帮助文档] 如何在ACK上的eRDMA节点运行GDR应用

GPU Direct RDMA(GDR)是NVIDIA提出的一项应用于高性能计算和深度学习的技术。它允许GPU直接与其他支持RDMA(远程直接内存访问)的设备(如其他GPU或某些加速器)进行数据交换,而无需通过CPU中转。本文介绍如何在ACK中的eRDMA节点上运行GDR应用。

[帮助文档] 如何在ACK上的eRDMA节点运行gRPC+Verbs应用

在eRDMA环境下,您可以使用基于RDMA的通信(可能是gRPC+Verbs协议)来替代传统的只使用gRPC的通信方式。这样做可以有效地进行网络传输,减少参数服务器和工作节点之间通信的延迟,从而加速整个分布式训练过程。

[帮助文档] Gitops应用使用HPA

由于Argo CD会定时同步Git仓库和集群中应用的状态,会和通过容器水平伸缩(HPA)来控制Pod副本数的行为发生冲突。因此对于使用GitOps发布的应用,如果使用容器水平伸缩控制Pod副本数,您需要对应用进行相应配置避免产生冲突。配置方式按照副本数分为默认1个副本和默认多个副本两种场景。

请问7月份云效有啥变更吗?现在一个容器部署多个应用的,都发布不成功了。

请问7月份云效有啥变更吗?现在一个容器部署多个应用的,都发布不成功了,而且,appStack发布到集群后,就分成多个容器了。

云效使用指南:持续交付:概述:典型场景:通过容器服务部署Web应用

当在创建向导中选择了创建Web应用,并选择了通过容器服务部署时,有如下配置请检查修改或添加: 构建配置 源代码根目录下的.release文件是构建的配置。一般来说,它已经自动生成好,特定情况需要进一步补充。注意其中不仅要构建产生包,还要进一步生成Docker image。请参考 Docker镜像构建...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
机密容器探索与AI场景应用
微服务×容器Meetup:云原生架构与应用专场PPT合辑
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时
立即下载 立即下载 立即下载