[帮助文档] 使用NVIDIA GPU部署AI容器镜像Qwen-7B-Chat

本文聊天机器人为例,介绍如何使用Alibaba Cloud AI Containers(简称AC2)提供的AI容器镜像在NVIDIA GPU上部署通义千问Qwen-7B-Chat。背景信息通义千问-7B(Qwen-7B)是阿里云研发的通义千问大模型系列的70亿参数规模模型。Qwen-7B是基于Tra...

[帮助文档] 部署vLLM推理应用

vLLM(Vectorized Large Language Model)是一个高性能的大型语言模型推理库,支持多种模型格式和后端加速,适用于大规模语言模型的推理服务部署。本文以Qwen-7B-Chat-Int8模型、GPU类型为V100卡为例,演示如何部署一个vLLM推理服务。

容器应用的高弹性架构

9 课时 |
31 人已学 |
免费

容器应用更新与灰度发布

9 课时 |
47 人已学 |
免费

Serverless容器入门和实践案例

1 课时 |
41 人已学 |
免费
开发者课程背景图

[帮助文档] 在ACK集群中部署和管理ack-kserve组件

KServe是一个开源项目,旨在简化在Kubernetes上部署和运行机器学习模型的过程,支持多种机器学习框架、具备弹性扩容能力。KServe通过定义简单的YAML文件,提供声明式的API来部署模型,使得配置和管理模型服务变得更加容易。本文介绍如何在ACK集群中部署和管理ack-kserve组件以及...

[帮助文档] 在GPU实例的Docker环境中配置eRDMA功能实现容器应用程序的直接访问

eRDMA(Elastic Remote Direct Memory Access)是一种高性能网络通信技术,将eRDMA功能引入容器(Docker)环境可以实现容器应用程序绕过操作系统内核直接访问主机的物理eRDMA设备,从而提供更快的数据传输和通信效率,适用于在容器中需要大规模数据传输和高性能网...

[帮助文档] 在ACK集群部署多租户任务调度管理

在ACK集群中,企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统。

Longhorn,企业级云原生容器分布式存储 - 定制部署默认设置

您可以在部署 Longhorn 时自定义它的默认设置。例如,您可以在启动 Longhorn 之前指定 Create Default Disk With Node Labeled(创建带有节点标签的默认磁盘) 和 Default Data Path(默认数据路径)。此默认设置仅适用于尚未部署的 Lon...

Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列之部署master/node节点组件(四)

0、前言  整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录   1、部署master组件 master 服务器的组件有:kube-apiserver、kube-co...

Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列之flanneld网络介绍及部署(三)

0、前言   整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 一、flanneld介绍    flannel是CoreOS提供用于解决Dokcer集群跨主...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云容器服务 ACK
阿里云容器服务 ACK
云端最佳容器应用运行环境,安全、稳定、极致弹性
234772+人已加入
加入
相关电子书
更多
智算时代的容器技术演进与实践
容器计算服务 ACS 全新定义容器算力
容器计算服务ACS
立即下载 立即下载 立即下载