[帮助文档] 使用LLM Gateway提升推理效率
在大语言模型（LLM）应用场景中，存在资源需求不确定性、后端推理实例负载不均衡等问题。为了优化这类问题，EAS引入了LLM Gateway基础组件，在请求调度层，基于LLM场景所特有的Metrics（指标），来动态进行请求分发，保证后端推理实例处理的算力和显存尽可能均匀，提升集群资源使用水位。
[帮助文档] 微调、部署并实现Llama-3模型的高效推理
Meta已开源Llama-3，推出了8B和70B两种参数量的大语言模型。阿里云PAI灵骏智算服务是面向大规模深度学习场景的智算产品，提供一站式的异构计算资源和AI工程化平台。本方案将为您介绍如何使用阿里云PAI灵骏智算服务，以及基于Meta-Llama-3-8B的开源模型和Megatron的训练流程...
[帮助文档] LLM模型离线推理组件说明
LLM模型离线推理组件支持的LLM模型来源于PAI的快速开始中的部分LLM模型，将在线推理转为离线推理。
[帮助文档] 使用EAS部署并调用推理场景的弹性服务
在使用异步推理服务时，可能会遇到资源利用不充分和缩容过程中请求中断等问题。为了解决这些问题，EAS推出了弹性Job服务，该服务对订阅逻辑进行了优化。本文将指导您如何在写真相机方案中使用弹性Job服务实现推理功能。
[帮助文档] BERT模型离线推理组件说明
BERT模型离线推理组件主要用于BERT模型的离线推理，利用已经训练完的BERT分类模型，对输入表中的文本进行分类。
【人工智能】模糊推理附录（2）
理论部分：【人工智能】模糊推理
【人工智能】模糊推理附录（1）
图片来自网络
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
