我们以 Meta 最新开源的大语言模型 Llama2 为例,通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。我们提供了两套训练流程,基于Huggingface&DeepSpeed和MegatronLM,可适用于开发Llama2全系列模型。在保证模型效果和Huggingface对齐的前提下,大幅提升大模型训练分布式效率。此外,灵骏还支持业界各类流行的开源大语言模型,包括Bloom系列、Falcon系列、GLM/ChatGLM系列,以及领域大模型galactica等的高效训练和部署。方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。