[帮助文档] 使用TensorRT-LLM优化大语言模型在GPU上的推理性能

在处理大语言模型任务时,您可以选择在GPU云服务器环境下安装推理引擎TensorRT-LLM,然后通过使用TensorRT-LLM工具实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型等)在GPU上的高性能推理优化功能。

[帮助文档] AI通信加速库Deepnccl的架构、性能以及优化原理

Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库,在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。

服务器迁移上云

10 课时 |
166 人已学 |
免费

ECS基础运维管理

12 课时 |
1516 人已学 |
免费

ECS快速入门

12 课时 |
5389 人已学 |
免费
开发者课程背景图

[帮助文档] 使用DeepGPU-LLM实现大语言模型在GPU上的推理优化

在处理大语言模型任务中,您可以根据实际业务部署情况,选择在不同环境(例如GPU云服务器环境或Docker环境)下安装推理引擎DeepGPU-LLM,然后通过使用DeepGPU-LLM工具实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)在GPU上...

[帮助文档] 了解并选择地域和可用区以优化实例的网络性能

本文介绍在运用网络时需要了解的地域、可用区等位置信息,帮助您合理配置和部署云资源,并优化实例的网络性能。

[帮助文档] 什么是计算优化编译器AIACC-AGSpeed

AIACC-AGSpeed(AIACC 2.0-AIACC Graph Speeding)是阿里云推出的一个基于PyTorch深度学习框架研发的计算优化编译器,用于优化PyTorch深度学习模型在阿里云GPU异构计算实例上的计算性能,相比原始的神龙AI加速引擎AIACC,AIACC-AGSpeed是...

Nginx极简实战—Nginx服务器高性能优化配置,轻松实现10万并发访问量

Nginx极简实战—Nginx服务器高性能优化配置,轻松实现10万并发访问量

前面讲了如何配置Nginx虚拟主机,如何配置服务日志等很多基础的内容。今天要说的是Nginx服务器高性能优化的配置,如何使Nginx轻松实现10万并发访问量。通常来说,一个正常的 Nginx Linux 服务器可以达到 500,000 – 600,000 次/秒 的请求处理性能,如果Nginx服务器...

[转载]实战经验:IIS网站服务器性能优化攻略

原文出处[搜狐IT]:http://it.sohu.com/20090413/n263359097.shtml Windows Server自带的互联网信息服务器(Internet Information Server,IIS)是架设网站服务器的常用工具,它是一个既简单而又麻烦的东西,新手都可以使用...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

云服务器ECS
云服务器ECS
做技术先进、性能优异、稳如磐石的弹性计算!
418277+人已加入
加入
相关电子书
更多
阿里云第八代企业级ECS实例,为企业提供更安全的云上防护
国产服务器操作系统发展报告(2023年)
ECS生长万物:开源
立即下载 立即下载 立即下载