产品简介
数据源 提供数据的源点，会根据这些数据来构建私域知识库，用于后续的检索、知识问答 大模型 大规模预训练语言模型是指使用海量文本数据进行预训练的语言模型。它通过学习大量的语言知识和语境信息，能够生成高质量的文本或提供语义理解。...
使用AMD CPU实例部署通义千问Qwen-7B-Chat
Qwen-7B是基于Transformer的大语言模型，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B 的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。...
部署及微调Qwen1.5系列模型
通义千问1.5（qwen1.5）是阿里云研发的通义千问系列开源大模型。该系列包括Base和Chat等多版本...更多关于如何通过SDK使用PAI-QuickStart提供的预训练模型，请参见 使用预训练模型—PAI Python SDK。相关参考 qwen1.5模型介绍 PAI Python SDK
部署及微调Llama-3系列模型
Llama-3是Meta AI推出的开源大语言模型系列（接近GPT-4级别）。该系列支持15万亿tokens进行充分训练，提供Base和...更多关于如何通过SDK使用PAI-QuickStart提供的预训练模型，请参见 使用预训练模型—PAI Python SDK。相关参考 PAI Python SDK
基于eGPU优化套件的ResNet50模型训练和推理
步骤四：进行模型推理 下载预训练模型。使用从NGC下载的NVIDIA的预训练模型 wget-content-disposition https://api.ngc.nvidia.com/v2/models/nvidia/resnet50_pyt_amp/versions/20.06.0/zip -O resnet50_pyt_amp_20.06.0.zip # 将模型下载...
部署及微调Qwen-72B-Chat模型
通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型，它的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
商品文案生成（中文）
PALM模型具有以下特点：理解能力更强：为conditional generation特别设计了预训练任务，增强模型对上下文的理解能力。所需标注更少：模型在海量文本语料上预训练，大大减少下游生成任务所需的标签数据量。性能优良：中英文模型均使用大规模...
什么是文档智能
文档智能深度融合文字识别、自然语言处理、图像处理、电子文档解析、文档预训练模型等多项技术，对非结构化和半结构化文档进行智能自动化处理，从而简化业务操作流程、提升文档处理效率。选择文档智能，您可以高效完成以下文档处理任务：...
大语言模型
千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。其中千问-1.8B是18亿参数...
通义千问VL
目前，我们提供了Qwen-VL系列的两个模型：Qwen-VL:Qwen-VL 以 Qwen-7B 的预训练模型作为语言模型的初始化，并以 Openclip ViT-bigG 作为视觉编码器的初始化，中间加入单层随机初始化的 cross-attention，经过约1.5B的图文数据训练得到。...
快速使用
相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力的语言模型，降低大语言模型、特别是中文大语言模型的研究和应用门槛。...
使用AMD CPU实例部署ChatGLM-6B
tmux 重要 下载预训练模型耗时较长，且成功率受网络情况影响较大，建议在tmux session中下载，以免ECS断开连接导致下载模型中断。下载ChatGLM-6B项目源码，以及chatglm-6b预训练模型。git clone ...
快速使用
相比如何做好大语言模型的预训练，BELLE更关注如何在开源预训练大语言模型的基础上，帮助每一个人都能够得到一个属于自己的、效果尽可能好的具有指令表现能力的语言模型，降低大语言模型、特别是中文大语言模型的研究和应用门槛。...
文本摘要训练
参数设置 预训练模型 预训练模型名称，您可以在参数设置页签，选择您需要的模型名称。默认值为 alibaba-pai/mt5-title-generation-zh。批大小 训练过程中的批处理大小。INT类型，默认值为8。如果使用多机多卡，则表示每个GPU上的批处理大小...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在大模型服务平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考...
增量训练
商品评价解析-增量训练，支持用户在平台商品评价解析预训练模型（电商领域、汽车领域、本地生活领域）的基础上，自定义需要增加的标签，用户只需要训练增加的标签，即可得到一个完整的解析模型；如当前支持的领域、行业不满足您的需求，请...
快速开始
千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础之上，使用对齐机制打造了模型的chat版本。其中千问-1.8B是18亿参数...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在灵积平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考ModelScope上...
快速开始
千问模型基于Transformer架构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在预训练模型的基础上，使用对齐机制打造了模型的chat版本。其中千问-1.8B是18亿参数规模...
ModelScope魔搭社区
ModelScope魔搭社区的愿景是汇集行业领先的预训练模型，减少开发者的重复研发成本，提供更加绿色环保、开源开放的AI开发环境和模型服务，助力绿色“数字经济”事业的建设。ModelScope魔搭社区将以开源的方式提供多类优质模型，开发者可在...
机器阅读理解训练
模型选择 系统提供的预训练模型名称路径选择，取值如下：自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-uncased bert-large-uncased 自定义模型路径 当 模型选择 参数选择 自定义 时，支持配置该参数。如果您想采用...
预训练模型使用教程
NLP自学习平台提供了一些预训练的特定领域模型服务。例如：商品评价解析服务、新闻层次分类服务、中文简历抽取、英文简历抽取。服务开通与资源包购买 预训练模型使用前，需要确认是否已经开通了：自然语言处理和NLP自学习平台服务。自然...
智能设计（ArtLab）
高效的微调（Fine Tune）效率：预置主流的优秀的预训练模型，利用高质量的打标数据进行FineTune，提供简单易懂的参数优化功能，您能够通过快速多次的调试获得更优的模型效果。试用申请 请通过搜索如下钉钉群号加入试用申请群：ArtLab交流3...
PAI图像语义分割训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数值，则会在此模型基础上进行Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。...
情感分析
服务开通与资源包购买 预训练模型使用前，请确认是否已经开通了NLP自学习平台服务，开通后可购买资源包。NLP自学习平台：开通地址 自学习平台资源包：购买地址 一、创建项目 在NLP自学习平台中【点击进入自学习管控台】，支持多个基本项目...
智能文创解决方案
步骤二：构建文本摘要模型 在 Designer 可视化建模平台，使用文本摘要训练组件，基于海量大数据语料预训练获得的NLP预训练模型，构建文本摘要模型。步骤三：离线批量预测 在 Designer 可视化建模平台，使用文本摘要预测组件，基于海量文本...
多模态检索解决方案
背景信息 功能支持 多模态特征提取能力：您可以使用基于Alibaba PAI EasyCV或EasyNLP提供的预训练模型，或者是您使用DSW平台训练获得的图像特征提取模型、文本向量化模型或文图CLIP模型部署服务。特征检索能力：该服务默认使用基于DocArray...
百川开源大语言模型
概述 百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过大模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。当前在大模型服务平台提供模型定制能力的百川系列模型分别来自于ModelScope...
百川开源大语言模型
概述 百川系列开源大语言模型是由百川智能开发的一个开源的大规模预训练模型。您可以通过灵积模型服务平台提供的模型定制功能对平台内置的百川系列模型进行微调。当前在灵积平台提供模型定制能力的百川系列模型分别来自于ModelScope社区...
简历抽取
服务开通与资源包购买 预训练模型使用前，请确认是否已经开通了NLP自学习平台服务，开通后可购买资源包。NLP自学习平台：开通地址 自学习平台资源包：购买地址 一、创建项目 在NLP自学习平台中【点击进入自学习管控台】，支持多个基本项目...
文本摘要预测
是 否（默认值）是否为Megatron模型 仅支持文本摘要训练组件中列出的带mg前缀的预训练模型，取值如下。是 否（默认值）模型存储路径 仅 使用自有模型 为 是 时，才需要配置该参数。自定义模型所在OSS Bucket中的存储路径。参数设置 批次...
机器阅读理解预测
pretrainModelNameOrPath 系统提供的预训练模型名称或路径选择，取值如下：用户自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-uncased bert-large-uncased 模型额外参数 用户自定义参数，您可以根据自己的数据对...
PAI图像检测训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数，则系统在此模型基础上Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL ...
PAI图像分类（多标签分类）训练
oss:/path/to/model 无 pretrained_model 否 预训练模型OSS路径。如果指定该路径，则在该模型基础上进行微调。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL true ...
模型介绍
这些模型均已完成预训练及融合过程，可以直接用于生成图片，其中整合了模型参数与权重等数据。其生成图片的风格和画风相对固定，若需进行个性化调整，需要借助其他模型进行微调操作。Checkpoint 模型效果展示 正向prompt：best quality,...
PAI端到端文字识别训练
oss:/path/to/model 无 pretrained_model 否 预训练模型的OSS路径。如果指定该参数值，则在此模型基础上Finetune。oss:/pai-vision-data-sh/pretrained_models/inception_v4.ckpt“”use_pretrained_model 否 是否使用预训练模型。BOOL ...
图像内容风控解决方案
基于PAI提供的预训练模型，针对自己的图像风控场景，在可视化建模平台Designer上进行模型微调，从而基于Resnet50构建图像分类模型或目标检测模型。将模型部署至EAS，形成完整的端到端流程，从而自动识别生产过程中的风险内容。方案架构 ...
常见问题
继续预训练主要是为了学习领域内的特有知识，有了领域知识后再SFT是会有一定提升，但成本较高，对数据数量、质量、信息量等要求都很高，远不止100w条，一般是千万以上，训练时间、资源消耗对应也会高出很多。另外，现在的SFT就是全量超参数...
PLDA
LDA也是一种无监督学习算法，在训练时您无需手工标注的训练集，仅需要在文档集中指定主题的数量K即可（K即为PLDA参数topic）。LDA首先由David M.Blei、Andrew Y.Ng和Michael I.Jordan于2003年提出，在文本挖掘领域应用于文本主题识别、文本...
- 产品推荐
- 这些文档可能帮助您