大模型服务平台是面向企业客户的,基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。提供完整的模型训练工具和全链路开发套件,预置丰富的应用插件,提供便捷的集成方式,结合企业专属数据和API,帮企业高效完成大模型应用构建。
模型效果
提供能力增强大模型保障应用效果
官方能力强化:预置多种强化的领域能力大模型,如问答、摘要、NL2SQL、写作等,客户可以开箱即用,无需自己的算法团队投入语料和训练成本;行业模型增强:提供金融、医疗和法律等垂直行业大模型能力,行业客户可直接调用接入产品;引入三方模型:除提供通义多个版本的基础大模型能力,还提供三方模型能力
便捷调用
提供便捷的模型调用服务
预置应用开箱即用:预置数据检索流程/prompt模板应用,无需开发,业务人员也可开箱即用;Plugin支持:提供官方插件, 同时满足API插件支持接入企业系统,通过简单的配置,即可让大模型根据企业系统的数据进行问答响应和内容生产;流程编排:支持复杂大模型应用流程
模型工具链
提供全链路模型训练和评测工具
全链路训练平台:丰富、完整的模型训练工具,支持SFT、Lora等多种优化方式,训练之后支持一键部署;推理加速:平台底层默认进行模型压缩和推理加速,屏蔽机器管理和推理加速的技术工作;多维度评估:支持单模型、多模型对比等多维度评估方式
01创建预置模版应用
1选择场景模板
2一键创建应用
3测试应用
4调用应用
02创建纯大模型应用
1选择大模型
2一键创建应用
3测试应用
4调用应用
03创建自训练大模型应用
1上传训练数据
2模型训练
3模型评测
4模型部署和调用
内容安全
生成内容安全:自动识别大模型生成内容、伦理道德、价值观、信息保护等生成内容风险,提供多种风险等级的监控。
人工干预:提供人工干预工具,快速处理用户输入内容或大模型生成内容的合规性问题。
网络安全
攻击防护:企业专属大模型提供多种攻击防护手段,包括DDos攻击, CC攻击,流量清洗, 网络洪峰防护, 用户行为伪造防护, 数据爬取防护, web漏洞利用防护, 未授权流量防护。
SSL加密:在传输层对网络链接进行SSL加密, 提升通信数据安全和完整性。
网络安全限制:同区日常/预发/生产三网VPC隔离,网络安全组策略管理,网关访问限制, NAT网关端口转发限制 。
数据安全
数据隔离:开发和生产数据隔离,开发和生产环境相关中间件、计算及存储资源隔离,开发过程无客户数据。
数据存储及加密:日志数据定期清理并进行加密归档,针对客户的OSS数据进行加密保存。
数据权限管理:企业账户级数据权限管理, 数据披露审批流程管理。
- Q:平台中导入企业文档,进行问答,有进行FT或者某种方式的模型训练吗?
- A:导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库,然后在问答过程中先根据用户query进行向量检索,然后将检索结果和问题组成prompt,由大模型返回最终答案。「模......查看详情
- Q:高质量的数据模型优化效果最好,那高质量的数据是什么样的,有没有模板?
- A:高质量数据首先是要准确率高,训练数据的问题要是清晰的,答案是能准确回答问题的。其次是要有多样性,不能所有的数据都是关于一类问题或者都是一些简单的问题。准备训练数据确实是一件非常......查看详情
- Q:文档增强和纯插件的能力有什么区别?
- A:文档增加是用于文档embedding的,主要是用于文档检索;纯插件版是调度api的。 两种类型的应用都能开启文档增强以及选择插件。只是当前模型是有侧重的,效果上两个模型有差异。需要分场景选择......查看详情