什么是工业视觉智能
工业视觉智能将阿里云基于工业各场景中的最佳实践所获得的预训练模型与用户实际场景中的样本数据结合，通过用户样本数据的训练对模型进行定制优化，从而适配用户实际使用场景。通过API及SDK供用户在线或离线部署调用。工业视觉智能基于...
关键短语抽取
服务开通与资源包购买 预训练模型使用前，请确认是否已经开通了NLP自学习平台服务，开通后可购买资源包。NLP自学习平台：开通地址 自学习平台资源包：购买地址 一、创建项目 在NLP自学习平台中【点击进入自学习管控台】，支持多个基本项目...
模型说明
UIE小样本实体抽取模型 基于Deberta模型在千万级监督和远监督数据上预训练得到，支持重叠实体抽取；可以较好地处理零样本场景下推理（不需要训练数据，直接预测）和小样本场景下fine-tune（经过少量样本，如1，5，10，100条数据训练后再...
快速入门
行业场景预训练模型：适用于3C电子、半导体等工业产品瑕疵检测需求的所有行业场景，目前支持一般工业制品、光伏电池和热轧钢铁的表面瑕疵检测和多图检测。在弹出的面板中输入 工作区名称、业务场景描述（可选），并单击 确认。您可以在 我...
产品简介
数据源 提供数据的源点，会根据这些数据来构建私域知识库，用于后续的检索、知识问答 大模型 大规模预训练语言模型是指使用海量文本数据进行预训练的语言模型。它通过学习大量的语言知识和语境信息，能够生成高质量的文本或提供语义理解。...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
什么是文档智能
文档智能深度融合文字识别、自然语言处理、图像处理、电子文档解析、文档预训练模型等多项技术，对非结构化和半结构化文档进行智能自动化处理，从而简化业务操作流程、提升文档处理效率。选择文档智能，您可以高效完成以下文档处理任务：...
通义千问VL
目前，我们提供了Qwen-VL系列的两个模型：Qwen-VL:Qwen-VL 以 Qwen-7B 的预训练模型作为语言模型的初始化，并以 Openclip ViT-bigG 作为视觉编码器的初始化，中间加入单层随机初始化的 cross-attention，经过约1.5B的图文数据训练得到。...
使用第八代Intel实例单机部署Qwen-72B-Chat
步骤二：下载Qwen-72B-Chat预训练模型 执行以下命令，安装 tmux 命令。sudo yum install tmux-y 执行以下命令，创建一个 tmux session 窗口。tmux 说明 下载预训练模型耗时较长，且成功率受网络情况影响较大，建议在 tmux session 中下载，...
增量训练
商品评价解析-增量训练，支持用户在平台商品评价解析预训练模型（电商领域、汽车领域、本地生活领域）的基础上，自定义需要增加的标签，用户只需要训练增加的标签，即可得到一个完整的解析模型；如当前支持的领域、行业不满足您的需求，请...
机器阅读理解训练
模型选择 系统提供的预训练模型名称路径选择，取值如下：自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-uncased bert-large-uncased 自定义模型路径 当 模型选择 参数选择 自定义 时，支持配置该参数。如果您想采用...
预训练模型（平台预置模型）
预训练模型是平台提供的预置模型，可直接通过API接口进行调用。2023年3月24日，NLP自学习平台-预训练模型按照行业类型进行分类升级，全面迁移至NLP自然语言处理，模型调用方式和接口由NLP自学习平台提供，API接口参考文档如下。服务调用 ...
大语言模型
千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。其中千问-1.8B是18亿参数...
使用EasyASR进行语音识别
背景信息 本文采用wav2letter-small模型作为预训练模型，除此之外，PAI还提供了wav2letter-base、transformer-small及transformer-base三个预训练的ASR模型，供您使用。您只需要下载对应的文件，并使用其替换操作流程中的相应输入即可。...
智能设计（ArtLab）
高效的微调（Fine Tune）效率：预置主流的优秀的预训练模型，利用高质量的打标数据进行FineTune，提供简单易懂的参数优化功能，您能够通过快速多次的调试获得更优的模型效果。试用申请 请通过搜索如下钉钉群号加入试用申请群：ArtLab交流3...
PAI图像语义分割训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数值，则会在此模型基础上进行Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。...
智能文创解决方案
步骤二：构建文本摘要模型 在 Designer 可视化建模平台，使用文本摘要训练组件，基于海量大数据语料预训练获得的NLP预训练模型，构建文本摘要模型。步骤三：离线批量预测 在 Designer 可视化建模平台，使用文本摘要预测组件，基于海量文本...
快速使用
其中模型的演变路径如下：moss-moon-003-base:MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10^22^次浮点数运算。moss-moon-003-sft:基座模型在约110万多轮对话数据上微调得到，具有...
百川开源大语言模型
概述 百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过大模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。当前在大模型服务平台提供模型定制能力的百川系列模型分别来自于ModelScope...
多模态检索解决方案
背景信息 功能支持 多模态特征提取能力：您可以使用基于Alibaba PAI EasyCV或EasyNLP提供的预训练模型，或者是您使用DSW平台训练获得的图像特征提取模型、文本向量化模型或文图CLIP模型部署服务。特征检索能力：该服务默认使用基于DocArray...
百川开源大语言模型
概述 百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过灵积模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。当前在灵积平台提供模型定制能力的百川系列模型分别来自于ModelScope社区...
简历抽取
服务开通与资源包购买 预训练模型使用前，请确认是否已经开通了NLP自学习平台服务，开通后可购买资源包。NLP自学习平台：开通地址 自学习平台资源包：购买地址 一、创建项目 在NLP自学习平台中【点击进入自学习管控台】，支持多个基本项目...
机器阅读理解预测
pretrainModelNameOrPath 系统提供的预训练模型名称或路径选择，取值如下：用户自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-uncased bert-large-uncased 模型额外参数 用户自定义参数，您可以根据自己的数据对...
PAI图像检测训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数，则系统在此模型基础上Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL ...
PAI图像分类（多标签分类）训练
oss:/path/to/model 无 pretrained_model 否 预训练模型OSS路径。如果指定该路径，则在该模型基础上进行微调。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL true ...
ModelScope魔搭社区
ModelScope魔搭社区的愿景是汇集行业领先的预训练模型，减少开发者的重复研发成本，提供更加绿色环保、开源开放的AI开发环境和模型服务，助力绿色“数字经济”事业的建设。ModelScope魔搭社区将以开源的方式提供多类优质模型，开发者可在...
PAI端到端文字识别训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数值，则在此模型基础上Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL ...
图像内容风控解决方案
基于PAI提供的预训练模型，针对自己的图像风控场景，在可视化建模平台Designer上进行模型微调，从而基于Resnet50构建图像分类模型或目标检测模型。将模型部署至EAS，形成完整的端到端流程，从而自动识别生产过程中的风险内容。方案架构 ...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在大模型服务平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在灵积平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考ModelScope上...
常见问题
继续预训练主要是为了学习领域内的特有知识，有了领域知识后再SFT是会有一定提升，但成本较高，对数据数量、质量、信息量等要求都很高，远不止100w条，一般是千万以上，训练时间、资源消耗对应也会高出很多。另外，现在的SFT就是全量超参数...
应用实践：Transformer模型训练加速
黑盒化加速：加速预训练Huggingface模型 制作mmap类型的预训练数据集。操作详情请参见 Megatron数据处理脚本，mmap数据集制作脚本请参考如下命令示例。python preprocess_data.py \-input book_wiki_owtv2_small.json \-output-prefix gpt_...
PLDA
LDA也是一种无监督学习算法，在训练时您无需手工标注的训练集，仅需要在文档集中指定主题的数量K即可（K即为PLDA参数topic）。LDA首先由David M.Blei、Andrew Y.Ng和Michael I.Jordan于2003年提出，在文本挖掘领域应用于文本主题识别、文本...
LLM模型训练
LLM模型训练组件支持的LLM模型来源于PAI的快速开始中的部分LLM模型。使用限制 仅支持DLC计算引擎。可视化配置参数 您可以在Designer中，通过可视化的方式配置组件参数。页签 参数 是否必选 描述 默认值 字段设置 model_name 是 模型名称。...
镜像介绍
该镜像基于Alibaba Cloud Linux 2操作系统，并且预安装了JDK 1.8、Tomcat 8、MySQL 5.7和Nginx 1.18。Nextcloud 22.1.0 23.0.0 Nextcloud是一款开源的云存储网盘软件，可以帮助您快速便捷地搭建一套属于自己或团队共享的云同步网盘，从而...
训练加速（Pai-Megatron-Patch）概述
此外，补丁支持huggingface模型权重与Megatron模型权重之间的双向转换，便于用户在Megatron环境下加载huggingface权重进行预训练或微调，或者将Megatron模型权重转换到huggingface环境下进行评估和推理。对于强化学习，Pai-Megatron-Patch...
PAI视频分类
pretrained_model：上传的预训练模型地址。train_data：训练数据转换生成的TFRecord文件。test_data：测试数据转换生成的TFRecord文件。label_map_path：数据转换生成的.pbtxt 文件。num_test_example：测试的样本数。train_batch_size：...
Llama3-8B大模型微调训练
脚本/ml/code/sft.py 接受的参数：model_name./LLM-Research/Meta-Llama-3-8B-Instruct/：指定预训练模型的路径。model_type llama：指定模型的类型，此处为Llama。train_dataset_namechinese_medical_train_sampled.json：指定训练数据集...
模型仓库（FastNN）
模型参数 名称 类型 描述 task_type string 任务类型，取值包括：pretrain：模型预训练，默认。finetune：模型调优 model_name string 指定进行训练的模型，取值包括 images/models 下的所有模型。您可以参考 images/models/model_factory ...
文本内容风控解决方案
pai-bert-base-zh 模型额外参数 用户自定义参数，可以配置预训练模型 pretrain_model_name_or_path，常用如下四种预训练模型：base-roberta base-bert tiny-roberta tiny-bert 模型精度排序：base-roberta>base-bert>tiny-roberta>tiny-...
- 产品推荐
- 这些文档可能帮助您