MOSS开源对话语言模型
其中模型的演变路径如下：moss-moon-003-base:MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10^22^次浮点数运算。moss-moon-003-sft:基座模型在约110万多轮对话数据上微调得到，具有...
图像检测训练（easycv）
无 预训练模型oss路径 否 如果有自己的预训练模型，则将该参数配置为自己预训练模型的OSS路径。如果没有配置该参数，则使用PAI提供的默认预训练模型。无 训练数据oss路径 是 仅当数据源格式为 COCO格式 时候，才会显示填写此单元格，此处...
视频分类训练
无 预训练模型oss路径 否 建议使用预训练模型，以提高训练模型的精度。无 参数设置 视频分类模型网络 是 选择使用的识别模型网络，支持以下取值：x3d_xs x3d_l x3d_m swin_t swin_s swin_b swin_t_bert x3d_xs 是否多标签 否 任务是否属于...
功能发布记录
2021-11-24 商品评价购买决策分析-电商领域 实体抽取 自学习模型 新增 中文StructBert:基于阿里自研的Struct BERT，从大量无标注语料进行预训练的模型并且蒸馏后的模型，适合标注语料不足的中文任务。针对实体重叠问题进行了优化。2021-11-...
图文解释
单击选中 SAM分割预处理 后，在右侧 配置 区域配置具体参数。参数说明如下：参数 说明 标题 默认标题区域无需修改。数据集字段 在数据集字段中选择使用SAM分割的embedding字段，可以配置该字段来提升页面SAM分割工具的加载速度。如果不配置...
使用Megatron-Deepspeed训练GPT-2并生成文本
背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，并且能在未经预训练的情况下，完成阅读理解、问答、机器翻译等多项不同的语言建模任务...
什么是Deepytorch Training（训练加速）
针对Stable Diffusion训练场景提供定制化的性能优化方案，能够在多种训练配置下无感地提升训练性能。针对基于DeepSpeed ZeRO的LLM微调训练场景提供了定制化的性能优化方案，能够在多种ZeRO配置下无感地提升训练性能。相关文档 相比模型默认...
编辑脚本
脚本类型 输入配置 输出配置 创建联邦表 原始样本（多个）联邦表（一个或多个）预处理规则 联邦表（一个或多个）联邦表（一个或多个）预处理应用 联邦表（一个或多个）联邦预处理规则（一个）联邦表（一个或多个）模型开发 联邦表（一个或...
图像度量学习训练（raw）
ClsSourceImageList 预训练模型oss路径 否 如果您有自己的预训练模型，则将该参数配置为预训练模型的OSS路径。如果没有配置该参数，则使用PAI提供的默认预训练模型。无 参数设置 度量学习模型使用的backbone 是 选择使用的主流模型，支持...
PAI图像检测训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数，则系统在此模型基础上Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL ...
图像分类训练（torch）
ClsSourceImageList 预训练模型oss路径 否 如果您有自己的预训练模型，则将该参数配置为预训练模型的OSS路径。如果没有配置该参数，则使用PAI提供的默认预训练模型。无 参数设置 图像分类模型使用的backbone 是 选择使用的骨干模型，支持...
写真相机方案
写真相机方案实现了自动化训练用户专属的Lora模型，并利用Lora模型和模板图片生成用户个性化的写真照片。模型在线服务（EAS）是PAI提供的模型服务平台。该方案定义了一套算法流程，可以部署为EAS模型在线服务，并提供了相关的调用接口，...
图像关键点训练
DetSourceCOCO 预训练模型oss路径 否 如果您有自己的预训练模型，则将该参数配置为预训练模型的OSS路径。如果没有配置该参数，则使用PAI提供的默认预训练模型。无 参数设置 关键点检测模型使用的backbone 是 选择使用的骨干模型，支持以下...
标注模板说明
尽管在这两个步骤中，标注数据的量理论上是越多越好，但它们与预训练阶段所依赖的大规模无监督数据源相比较，相对数量仍然较少。创建模板 在 官方模板 页选择 多模态RLHF标注-自动问答 或 多模态RLHF标注-输入问答 模板，单击右下角 编辑，...
PAI图像分类（多标签分类）训练
oss:/path/to/model 无 pretrained_model 否 预训练模型OSS路径。如果指定该路径，则在该模型基础上进行微调。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL true ...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
预训练模型使用教程
NLP自学习平台提供了一些预训练的特定领域模型服务。例如：商品评价解析服务、新闻层次分类服务、中文简历抽取、英文简历抽取等。注：预训练提供的模型服务无需自主标注训练，直接调用API即可使用；服务开通与资源包购买 预训练模型使用前...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大...目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。开发者可以通过以下链接，了解如何通过大模型服务平台调用Ziya-LLaMA API。快速使用 API详情
组件参考：所有组件汇总
您可以使用文本摘要预测组件，调用指定预训练模型对新闻文本进行预测，从而生成新闻标题。文本分类预测（MaxCompute）（即将下线）该组件用来加载训练好的模型，对输入数据表进行预测，并产出预测结果。文本匹配预测（MaxCompute）（即将...
模型说明
StructBERT 分类模型【推荐】阿里巴巴达摩院自研的alicemind模型体系，主要原理为使用 StructBERT模型 从大量无标注语料进行预训练，精度较高，推理速度较慢。StructBERT小样本分类：基于StructBert-base，在xnli数据集（将英文数据集重新...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院...目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。开发者可以通过以下链接，了解如何通过DashScope灵积模型服务调用Ziya-LLaMA API。快速使用 API详情
建立VPC到本地数据中心的连接（双隧道模式和BGP路由）
步骤五：配置本地网关设备 在阿里云侧完成配置后，您需要在本地网关设备上添加VPN配置和路由配置，使本地网关设备与VPN网关之间成功建立IPsec-VPN连接，同时使本地数据中心去往VPC的流量优先通过主隧道进行传出，在主隧道中断后自动切换至...
GBDT二分类V2
1 输出桩说明 输出桩 存储位置 下游建议组件 数据类型 模型输出 不需要配置 GBDT二分类预测V2 MaxCompute表 特征重要性输出 不需要配置 无 MaxCompute表 与PS-SMART二分类对比 如果您之前使用 PS-SMART二分类 组件遇到了一些问题不容易解决...
基本概念
自定义模型 自定义模型版本是基于您训练过的模型进行再次训练，从而调优模型效果，请注意，由于大模型的训练原理，多次训练模型时，后序训练易丢失前序训练已习得的能力，建议后序训练数据需要采样或保持前序训练数据。循环次数 循环次数...
模型说明
UIE小样本实体抽取模型 基于Deberta模型在千万级监督和远监督数据上预训练得到，除关系抽取外，也支持任意多元组集合的抽取，如事件抽取、观点抽取等；可以较好地处理零样本场景下推理（不需要训练数据，直接预测）和小样本场景下fine-tune...
工作区管理
行业场景预训练模型：适用于3C电子、半导体等工业产品瑕疵检测需求的所有行业场景，目前支持一般工业制品、光伏电池和热轧钢铁的表面瑕疵检测和多图检测。在弹出的面板中输入 工作区名称、业务场景描述（可选），并单击 确认。管理工作区...
模型说明
UIE小样本实体抽取模型 基于Deberta模型在千万级监督和远监督数据上预训练得到，支持重叠实体抽取；可以较好地处理零样本场景下推理（不需要训练数据，直接预测）和小样本场景下fine-tune（经过少量样本，如1，5，10，100条数据训练后再...
BERT模型离线推理
算法简介 BERT是一种基于Transformer的自然语言处理预训练模型。它通过在大量文本数据上预训练，学习到文本的深层双向表示，然后可以通过少量的微调应用到各种下游的NLP任务中。该算法组件使用已经训练完的BERT分类模型，将输入表中的文本...
三方开源大语言模型
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。姜子牙通用大模型V1是大规模预训练语言模型，支持中文英文等不同语言输入。Dolly开源大语言模型 dolly-12b-v2 由Databricks出品的大规模...
ESSD AutoPL云盘
预配置性能单价*预配置IOPS*计费时长=0.0000625*200*24=0.3 总费用：基准性能费用+预配置性能费用=5.04+0.3=5.34 示例二：张先生在ECS控制台上购买ESSD AutoPL数据盘时，选择容量为100 GiB，配置预配置性能为200 IOPS，默认开启性能突发。...
OCR文档自学习概述
功能简介 OCR文档自学习，是面向“无算法基础”的企业与个人开发者用户，通过全流程可视化操作，支持用户完成模板配置、数据处理&标注、模型构建&训练、部署发布等操作的一站式工具平台。本平台采用少样本训练、智能预标注，视觉-语义联合...
模型部署及训练
快速开始预置了多种预训练模型。您可以基于预训练模型快速上手并使用PAI的训练和部署功能。本文为您介绍如何在快速开始中查找适合您业务需求的模型、部署和调试模型、微调训练模型。前提条件 如果您需要对模型进行微调训练或增量训练，则...
参考：性能基准评测
混合精度 实验环境：英文huggingface bert预训练 num-layers 12 hidden-size 768 num-attention-heads 12 num-params 110106428 local-rank 4 seq-length 512 micro-batch-size 16 global-batch-size 64 方案 吞吐（samples/s）Peak Memory...
使用EasyASR进行语音识别
背景信息 本文采用wav2letter-small模型作为预训练模型，除此之外，PAI还提供了wav2letter-base、transformer-small及transformer-base三个预训练的ASR模型，供您使用。您只需要下载对应的文件，并使用其替换操作流程中的相应输入即可。...
OCR文档自学习概述
功能简介 OCR文档自学习，是面向“无算法基础”的企业与个人开发者用户，通过全流程可视化操作，支持用户完成模板配置、数据处理&标注、模型构建&训练、部署发布等操作的一站式工具平台。本平台采用少样本训练、智能预标注，视觉-语义联合...
模型训练
步骤三：训练 在 训练详情 页面选择 训练配置 和 自定义训练参数配置 后，单击 开始训练。训练结束后，单击 下一步 选择满意的模型。步骤四：评估（可选）勾选2~5个模型，类型可选择本次训练候选模型和历史候选模型两种。步骤五：模型提取 ...
修改ESSD AutoPL云盘突发I/O
云数据库 MongoDB 版 集成了ESSD AutoPL云盘突发I/O调整能力，您可以根据业务实际情况调整I/O的预配置大小，助您轻松应对突发或计划中的流量高峰。前提条件 实例存储类型为ESSD AutoPL云盘。使用限制 IOPS预配置性能24小时内最多可修改两次...
Lasso回归训练
可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 数据 无 读数据表 特征工程 数据预处理 是 模型 Lasso模型（用做增量训练）读数据表（模型数据表）Lasso回归训练 否 组件参数 页签 参数 描述 字段设置 标签...
部署及微调Stable Diffusion V1.5模型实现文生图
在微调训练详情页面，依次展开各种训练配置选项，查看或修改以下关键配置。其他参数取默认值即可。更多参数配置详情，请参见 微调训练模型。配置选项 描述 数据集配置 PAI准备了默认数据集，您可以使用默认数据集，也可以按照以下操作步骤...
- 产品推荐
- 这些文档可能帮助您