[帮助文档] 使用AI通信加速库DeepNCCL加速模型的分布式训练或推理性能
DeepNCCL是阿里云神龙异构产品开发的用于多GPU互联的AI通信加速库,能够无感地加速基于NCCL进行通信算子调用的分布式训练或多卡推理等任务。开发人员可以根据实际业务情况,在不同的GPU云服务器上安装DeepNCCL通信库,以加速分布式训练或推理性能。本文主要介绍在Ubuntu或CentOS操...
[帮助文档] 使用DeepGPU-LLM实现大语言模型在GPU上的推理优化_GPU云服务器(EGS)
在处理大语言模型任务中,您可以根据实际业务部署情况,选择在不同环境(例如GPU云服务器环境或Docker环境)下安装推理引擎DeepGPU-LLM,然后通过使用DeepGPU-LLM工具实现大语言模型(例如Llama模型、ChatGLM模型、百川Baichuan模型或通义千问Qwen模型)在GPU上...
modelscope-funasr导出的onnx离线paraformer模型能用gpu推理吗?
modelscope-funasr导出的onnx离线paraformer模型能用gpu推理吗?
modelscope-funasr的nnxruntime-gpu版本推理onnx慢的原因吗?
modelscope-funasr的nnxruntime-gpu版本推理onnx慢的原因吗?我们有其他的推理引擎支持gpu推理的不,如果执行run_server_2pass.sh传入的模型是pytorch类型的是不是还得修改funasr-wss-server-2pass.cpp脚本呢
在modelscope-funasr怎么用gpu推理?
在modelscope-funasr怎么用gpu推理?
[帮助文档] 使用Deepytorch Inference实现模型的推理性能优化_GPU云服务器(EGS)
Deepytorch Inference是阿里云自研的AI推理加速器,针对Torch模型,可提供显著的推理加速能力。本文主要介绍安装并使用Deepytorch Inference的操作方法,以及推理效果展示。
[帮助文档] GPU实例的实时推理场景_函数计算(FC)
本文介绍如何使用GPU预留实例,以及如何基于GPU预留实例构建延迟敏感的实时推理服务。
modelscope-funasr libtorch gpu 推理啥时候出来?
modelscope-funasr libtorch gpu 推理啥时候出来?
modelscope-funasr未来会开放GPU上在使用ONNX和libtorch推理评测数据吗?
modelscope-funasr 现在docs下面只有基于CPU的评测数据,未来会开放GPU上在使用ONNX和libtorch推理的评测数据吗?
[帮助文档] 大语言模型( LLM)推理引擎DeepGPU-LLM_GPU云服务器(EGS)
DeepGPU-LLM是阿里云研发的基于GPU云服务器的大语言模型(Large Language Model,LLM)推理引擎,在处理大语言模型任务中,该推理引擎可以为您提供高性能的大模型推理服务。
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。