[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

[帮助文档] 在ACK Edge集群中使用负载均衡类型Service暴露应用

在Kubernetes集群中,Service是将运行的一组Pod的网络应用进行服务暴露的标准方法,能够解耦前端和后端的关联,从而实现松耦合的微服务设计。Service服务支持多种类型,例如ClusterIP、NodePort、LoadBalancer等。本文主要为您介绍如何在ACK Edge集群中,...

容器应用的高弹性架构

9 课时 |
31 人已学 |
免费

容器应用更新与灰度发布

9 课时 |
47 人已学 |
免费

Serverless容器入门和实践案例

1 课时 |
41 人已学 |
免费
开发者课程背景图

[帮助文档] 如何在ACK上的eRDMA节点运行GDR应用

GPU Direct RDMA(GDR)是NVIDIA提出的一项应用于高性能计算和深度学习的技术。它允许GPU直接与其他支持RDMA(远程直接内存访问)的设备(如其他GPU或某些加速器)进行数据交换,而无需通过CPU中转。本文介绍如何在ACK中的eRDMA节点上运行GDR应用。

[帮助文档] 如何在ACK上的eRDMA节点运行gRPC+Verbs应用

在eRDMA环境下,您可以使用基于RDMA的通信(可能是gRPC+Verbs协议)来替代传统的只使用gRPC的通信方式。这样做可以有效地进行网络传输,减少参数服务器和工作节点之间通信的延迟,从而加速整个分布式训练过程。

[帮助文档] Gitops应用使用HPA

由于Argo CD会定时同步Git仓库和集群中应用的状态,会和通过容器水平伸缩(HPA)来控制Pod副本数的行为发生冲突。因此对于使用GitOps发布的应用,如果使用容器水平伸缩控制Pod副本数,您需要对应用进行相应配置避免产生冲突。配置方式按照副本数分为默认1个副本和默认多个副本两种场景。

探索容器化技术:Docker的原理与应用

引言:随着云计算和分布式系统的普及,软件开发和部署的复杂性也逐渐增加。容器化技术应运而生,它能够将应用程序及其依赖项打包成一个独立的运行单元,并在各种环境中进行移植和部署。而在众多容器化技术中,Docker因其强大的功能和易用性而备受关注。一、容器化概述容器化是一种虚拟化技术,它通过利用操作系统级别...

探索容器化技术:揭秘Docker的原理与应用

引言:随着软件开发需求的不断增长和多样化,传统的软件部署方式已经无法满足快速、高效、可靠的需求。容器化技术的出现使得开发者能够更好地管理和运行应用程序,提高开发效率和部署灵活性。其中,Docker作为最流行的容器化工具之一,具备广泛的应用领域和强大的生态系统支持。一、容器化技术概述1.1 什么是容器...

Docker 网络模型:多角度分析容器网络的原理与应用

Docker 网络模型:多角度分析容器网络的原理与应用

🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁🦄 个人主页——libin9iOak的博客🎐🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~🌺🌊 《IDEA开发秘籍》学会IDE...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
机密容器探索与AI场景应用
微服务×容器Meetup:云原生架构与应用专场PPT合辑
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时
立即下载 立即下载 立即下载