我们以 Meta 最新开源的大语言模型 Llama2 为例,通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。我们提供了两套训练流程,基于Huggingface&DeepSpeed和MegatronLM,可适用于开发Llama2全系列模型。在保证模型效果和Huggingface对齐的前提下,大幅提升大模型训练分布式效率。此外,灵骏还支持业界各类流行的开源大语言模型,包括Bloom系列、Falcon系列、GLM/ChatGLM系列,以及领域大模型galactica等的高效训练和部署。方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。
Cassandra是连续9年DB-Engines排名第一的宽表数据库,支持类SQL语法CQL,开发体验类似MySQL,可扩展PB级存储。推出企业版Lindorm for Cassandra云原生多模数据库,采用存储计算分离架构,支持海量数据的低成本存储和按需付费,具备更高性价比和更为丰富的企业级功能。