[帮助文档] 使用Deepytorch Inference实现模型的推理性能优化
Deepytorch Inference是阿里云自研的AI推理加速器，针对Torch模型，可提供显著的推理加速能力。本文主要介绍安装并使用Deepytorch Inference的操作方法，以及推理效果展示。
[帮助文档] 使用TensorRT-LLM优化大语言模型在GPU上的推理性能
在处理大语言模型任务时，您可以选择在GPU云服务器环境下安装推理引擎TensorRT-LLM，然后通过使用TensorRT-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型等）在GPU上的高性能推理优化功能。
[帮助文档] 使用DeepGPU-LLM实现大语言模型在GPU上的推理优化
在处理大语言模型任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）在GPU上...
LLM大语言模型有个100并发的34b模型的推理需求，不知道需要多大的GPU？
LLM大语言模型有个100并发的34b模型的推理需求，不知道需要多大的GPU？First token需要在2s内，部署的话应该是使用vLLM加速
[帮助文档] GPU实例的实时推理场景
本文介绍如何使用GPU预留实例，以及如何基于GPU预留实例构建延迟敏感的实时推理服务。
[帮助文档] 大语言模型（ LLM）推理引擎DeepGPU-LLM
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。
小羊驼背后的英雄，伯克利开源LLM推理与服务库：GPU减半、吞吐数十倍猛增
大模型时代，各种优化方案被提出，这次吞吐量、内存占用大等问题被拿下了。随着大语言模型（LLM）的不断发展，这些模型在很大程度上改变了人类使用 AI 的方式。然而，实际上为这些模型提供服务仍然存在挑战，即使在昂贵的硬件上也可能慢得惊人。现在这种限制正在被打破。最近，来自加州大学伯克利分校...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
更多
