[帮助文档] 使用NVIDIA GPU部署AI容器镜像Qwen-7B-Chat

本文聊天机器人为例,介绍如何使用Alibaba Cloud AI Containers(简称AC2)提供的AI容器镜像在NVIDIA GPU上部署通义千问Qwen-7B-Chat。背景信息通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模模型。Qwen-7B是基于Tra...

[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

容器应用的高弹性架构

9 课时 |
31 人已学 |
免费

容器应用更新与灰度发布

9 课时 |
47 人已学 |
免费

Serverless容器入门和实践案例

1 课时 |
41 人已学 |
免费
开发者课程背景图

[帮助文档] 在ACK集群中部署和管理ack-kserve组件

KServe是一个开源项目,旨在简化在Kubernetes上部署和运行机器学习模型的过程,支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件,提供声明式的API来部署模型,使得配置和管理模型服务变得更加容易。本文介绍如何在ACK集群中部署和管理ack-kserve组件以及...

[帮助文档] 在GPU实例的Docker环境中配置eRDMA功能实现容器应用程序的直接访问

eRDMA(Elastic Remote Direct Memory Access)是一种高性能网络通信技术,将eRDMA功能引入容器(Docker)环境可以实现容器应用程序绕过操作系统内核直接访问主机的物理eRDMA设备,从而提供更快的数据传输和通信效率,适用于在容器中需要大规模数据传输和高性能网...

[帮助文档] 在ACK集群部署多租户任务调度管理

在ACK集群中,企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统。

如何通过服务(Service)来访问新部署的容器化应用?

如何通过服务(Service)来访问新部署的容器化应用?

要在云服务平台快速搭建一套大数据服务平台,该具备哪些最基本的软件环境,有没有类似k8s的快速部署容器

要在云服务平台快速搭建一套大数据服务平台,该具备哪些最基本的软件环境,有没有类似k8s的快速部署容器

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
智算时代的容器技术演进与实践
容器计算服务 ACS 全新定义容器算力
容器计算服务ACS
立即下载 立即下载 立即下载