[帮助文档] 使用AI通信加速库DeepNCCL加速模型的分布式训练或推理性能
DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库，能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况，在不同的GPU云服务器上安装DeepNCCL通信库，以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操...
[帮助文档] 使用DeepGPU-LLM实现大语言模型在GPU上的推理优化_GPU云服务器(EGS)
在处理大语言模型任务中，您可以根据实际业务部署情况，选择在不同环境（例如GPU云服务器环境或Docker环境）下安装推理引擎DeepGPU-LLM，然后通过使用DeepGPU-LLM工具实现大语言模型（例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型）在GPU上...
[帮助文档] 使用Deepytorch Inference实现模型的推理性能优化_GPU云服务器(EGS)
Deepytorch Inference是阿里云自研的AI推理加速器，针对Torch模型，可提供显著的推理加速能力。本文主要介绍安装并使用Deepytorch Inference的操作方法，以及推理效果展示。
[帮助文档] GPU实例的实时推理场景_函数计算(FC)
本文介绍如何使用GPU预留实例，以及如何基于GPU预留实例构建延迟敏感的实时推理服务。
[帮助文档] 大语言模型（ LLM）推理引擎DeepGPU-LLM_GPU云服务器(EGS)
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型（Large Language Model，LLM）推理引擎，在处理大语言模型任务中，该推理引擎可以为您提供高性能的大模型推理服务。
单个GPU显存较小，无法推理，如何设置多卡推理？
我们单个GPU显存较小，无法推理，ms有办法指定多卡推理吗？是device参数吗？
社区里面有很多模型，每个模型所需要的部署资源，比如占用的GPU显存，推理速度等有参考数据吗？
作为开发者或者C端用户，很多时候是零碎的体验需求，clone代码或者下载模型到本地试错比较耗费时间。 如果平台能给出推理的性能测试参考，可以帮助开发者快速找到合适的模型。
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
产品推荐
社区圈子
最佳实践
更多
