[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

[帮助文档] 在ACK Edge集群中使用负载均衡类型Service暴露应用

在Kubernetes集群中,Service是将运行的一组Pod的网络应用进行服务暴露的标准方法,能够解耦前端和后端的关联,从而实现松耦合的微服务设计。Service服务支持多种类型,例如ClusterIP、NodePort、LoadBalancer等。本文主要为您介绍如何在ACK Edge集群中,...

容器应用的高弹性架构

9 课时 |
31 人已学 |
免费

容器应用更新与灰度发布

9 课时 |
47 人已学 |
免费

Serverless容器入门和实践案例

1 课时 |
41 人已学 |
免费
开发者课程背景图

[帮助文档] 如何在ACK上的eRDMA节点运行GDR应用

GPU Direct RDMA(GDR)是NVIDIA提出的一项应用于高性能计算和深度学习的技术。它允许GPU直接与其他支持RDMA(远程直接内存访问)的设备(如其他GPU或某些加速器)进行数据交换,而无需通过CPU中转。本文介绍如何在ACK中的eRDMA节点上运行GDR应用。

[帮助文档] 如何在ACK上的eRDMA节点运行gRPC+Verbs应用

在eRDMA环境下,您可以使用基于RDMA的通信(可能是gRPC+Verbs协议)来替代传统的只使用gRPC的通信方式。这样做可以有效地进行网络传输,减少参数服务器和工作节点之间通信的延迟,从而加速整个分布式训练过程。

[帮助文档] Gitops应用使用HPA

由于Argo CD会定时同步Git仓库和集群中应用的状态,会和通过容器水平伸缩(HPA)来控制Pod副本数的行为发生冲突。因此对于使用GitOps发布的应用,如果使用容器水平伸缩控制Pod副本数,您需要对应用进行相应配置避免产生冲突。配置方式按照副本数分为默认1个副本和默认多个副本两种场景。

阿里云函数计算发布新功能,支持容器镜像,加速应用 Serverless 进程

阿里云函数计算发布新功能,支持容器镜像,加速应用 Serverless 进程

我们先通过一段视频来看看函数计算和容器相结合后,在视频转码场景下的优秀表现。点击观看视频 >>FaaS 的门槛Serverless 形态的云服务帮助开发者承担了大量复杂的扩缩容、运维、容量规划、云产品打通集成等责任,使得开发者可以专注业务逻辑、提高交付速度 (Time-to-market...

函数计算支持容器镜像-加速应用 Serverless 进程

函数计算支持容器镜像-加速应用 Serverless 进程

FaaS 的门槛 Serverless 形态的云服务帮助开发者承担了大量复杂的扩缩容、运维、容量规划、云产品打通集成等责任,使得开发者可以专注业务逻辑、提高交付速度 (Time-to-market) ,持续优化成本。Function-as-a-Service (FaaS) 作为云上最早也是应用最广泛...

可以在一个容器中同时运行多个应用进程吗?

可以在一个容器中同时运行多个应用进程吗?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
机密容器探索与AI场景应用
微服务×容器Meetup:云原生架构与应用专场PPT合辑
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时
立即下载 立即下载 立即下载