方案导读

方案介绍
向量检索与通义千问搭建专属问答服务

通过文本向量模型将其转化为高质量低维度的向量数据,再写入DashVector向量检索服务。数据的向量化采用灵积模型服务上的Embedding API实现。将提问文本向量化后,通过DashVector提取相关知识点的原文。将相关知识点作为“限定上下文+提问”一起作为prompt询问通义千问。

解决问题:问答结果不准确

大语言模型本身有丰富的自然语言处理能力,但其训练语料库一般由普适知识、常识性知识组成。在处理特定领域的知识时会有局限性,匹配的效果往往不太理想。

解决问题:检索方式单一

带关键词感知能力的向量检索能力,既有“两路召回、综合排序”方案的优点,使得系统复杂度、资源开销大幅度降低,还具备关键词检索、向量检索、关键词+向量混合检索的优势。

方案优势
向量数据实时索引
当向量发生新增、删除、修改后,向量状态即时生效,实现了向量即增即查、即时落盘以及向量实时动态更新。
支持关键词感知
Sparse Vector具备关键词检索、向量检索、关键词 + 向量混合检索的优势,且可大幅降低系统复杂度。数据统一、检索效率高。
简洁 SDK 功能设计
通过简洁易用的 SDK/API 接口透出,方便被上层 AI 应用迅速集成。
应用场景
企业内部问答平台
通过DashVector+通义千问构建企业内部专有知识库,企业内部的员工可以提出问题,获取产品知识等答案和业务解决方案。
企业智能客服
基于DashVector+通义千问实现智能问答、语义理解和自动回复等功能,从而减少客服人员的工作负担,提高客户服务效率和质量,提高客户支持效率,增强客户体验和满意度。
智能旅游顾问
智能旅游顾问可以为用户提供个性化的旅游规划建议和旅游咨询服务,提高旅游体验和满意度。智能旅游顾问可通过机器学习进行用户画像和旅游需求分析,提供个性化的旅游路线和景点推荐,并根据用户的反馈进行自动迭代和优化。提供更加个性化、人性化的旅游服务。
方案部署
01部署准备
开通灵积模型服务、向量检索服务,并获得API-KEY、完成Cluster创建。准备开发环境及数据。
02本地知识库向量化
创建embedding.py文件,并将示例代码复制到embedding.py中,将文稿存入向量检索服务中。
03提取知识点
创建search.py文件,并将示例代码复制到search.py文件中,在向量检索服务中检索最相关的知识点。
04构造 Prompt
将 “提问 + 知识点” 按照特定的模板作为prompt向LLM(通义千问)发起提问。
05验证及清理
验证方案是否部署成功。如完成本方案部署后无需使用相关资源,请释放相关云资源。
通义千问和LangChain搭建对话模型
本方案结合通义千问和LangChain技术构建高效的对话模型,该模型基于自然语言处理技术提升语义理解和用户交互体验。它可以有效解决传统对话模型在理解能力和交互效果上的局限,使得用户沟通更加自然流畅,被广泛应用于聊天机器人、智能客服和社交媒体等多种场景。
通过PAI - 灵骏分布式训练和部署Llama 2模型
我们以 Meta 最新开源的大语言模型 Llama2 为例,通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。我们提供了两套训练流程,基于Huggingface&DeepSpeed和MegatronLM,可适用于开发Llama2全系列模型。在保证模型效果和Huggingface对齐的前提下,大幅提升大模型训练分布式效率。此外,灵骏还支持业界各类流行的开源大语言模型,包括Bloom系列、Falcon系列、GLM/ChatGLM系列,以及领域大模型galactica等的高效训练和部署。方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。