我们以 Meta 最新开源的大语言模型 Llama2 为例，通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。我们提供了两套训练流程，基于Huggingface&DeepSpeed和MegatronLM，可适用于开发Llama2全系列模型。在保证模型效果和Huggingface对齐的前提下，大幅提升大模型训练分布式效率。此外，灵骏还支持业界各类流行的开源大语言模型，包括Bloom系列、Falcon系列、GLM/ChatGLM系列，以及领域大模型galactica等的高效训练和部署。方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。