Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大...目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。开发者可以通过以下链接，了解如何通过大模型服务平台调用Ziya-LLaMA API。快速使用 API详情
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院...目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。开发者可以通过以下链接，了解如何通过DashScope灵积模型服务调用Ziya-LLaMA API。快速使用 API详情
三方开源大语言模型
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。姜子牙通用大模型V1是大规模预训练语言模型，支持中文英文等不同语言输入。Dolly开源大语言模型 dolly-12b-v2 由Databricks出品的大规模...
TFRecord数据转换
ssl labeling format：平台定义的图片自监督训练所需格式。STRING pai labeling format(old version)seperator 否 分隔符，用于标记内容的Split。STRING None，即不指定该参数 image_format 否 TFRecord中图片的编码方式。常用图像编码方式...
安装 mPaaS 插件
mPaaS 插件的安装有 在线安装 和 离线安装 两种安装方式。如果您的 Android Studio 为 4.0 及之后的版本，可通过 在线安装 或 离线安装 最新版本的 mPaaS 插件。在 mPaaS 的 JetBrains 主页 上，您可以获取 mPaaS 插件的部分离线安装包。...
基于AIACC加速器快速实现LLaMA-7B指令微调
安装AIACC。wget https://ali-perseus-release.oss-cn-huhehaote.aliyuncs.com/aiacc/aiacc-1.1.0.tar.gz pip install aiacc-1.1.0.tar.gz 使用AIACC。以本方案为例，需要在训练文件train.py（默认在/root/LLaMA/stanford_alpaca 目录下）...
结果字段说明
evaluation_metrics.macro_f1 该实体训练的监督模型所计算的验证集macro f1 score值。evaluation_metrics.precision 该实体训练的监督模型所计算的验证集precision值。evaluation_metrics.recall 该实体训练的监督模型所计算的验证集recall...
通过Elasticsearch机器学习实现业务数据的智能检测和...
创建推理机器学习任务 训练航班延误预测任务 本操作通过回归算法训练一个监督机器学习任务，使用Kibana自带的样例数据Sample flight data，该数据集为虚构的航班数据，通过回归算法根据历史数据训练航班延误时间的任务。预测任务可以为航空...
什么是AutoML
举个简单的例子，模型有2个超参A和B，A可能的取值有（a，b，c），B可能的取值有（d，e），那么这个超参调优过程就是从A、B值的6种排列组合里，选出一种，使得模型训练有最佳效果。为了选出最优组合，最简单的方式是在同一个训练数据集上，...
安装 mPaaS 插件
说明 Xcode 8 及以后版本对 mPaaS 插件的安装有限制，需要去除 Xcode 签名才能顺利安装 mPaaS 插件。步骤如下：按照屏幕提示，输入 Y 同意去除 Xcode 签名。选中希望去除签名的 Xcode 按下回车键继续。如果安装了多个 Xcode，请上下移动...
镜像检测项说明
部分ECS规格，例如ecs.g7se使用基于NVMe协议挂载的云盘，镜像中需要安装有相关驱动。如何为镜像安装nvme驱动，请参见 Linux自定义镜像如何适配NVMe系统盘？GUESTOS.Fstab 镜像中/etc/fstab文件配置了系统磁盘设备挂载信息，错误的配置会...
镜像检测概述
部分ECS规格，例如ecs.g7se使用基于NVMe协议挂载的云盘，镜像中需要安装有相关驱动。如何为镜像安装nvme驱动，请参见 Linux自定义镜像如何适配NVMe系统盘？GUESTOS.Fstab 镜像中/etc/fstab文件配置了系统磁盘设备挂载信息，错误的配置会...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在大模型服务平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考...
快速使用
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在灵积平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考ModelScope上...
训练加速（Pai-Megatron-Patch）概述
背景信息 Pai-Megatron-Patch工具是阿里云机器学习平台PAI算法团队研发，基于阿里云智算服务PAI-灵骏平台的大模型最佳实践解决方案配套工具，旨在帮助大模型开发者快速上手灵骏产品，完成大语言模型（LLM）的高效分布式训练，有监督指令...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
智能异常分析概述
有监督 有监督的学习是从标签化训练数据集中推断出函数或模型的机器学习任务。日志常量 日志往往由程序中的 logging 语句或者 print 语句产生。例如 connect mysql server,latency 212ms 日志可能是通过日志输出语句 logging.info("connect...
快速使用
其中模型的演变路径如下：moss-moon-003-base:MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10^22^次浮点数运算。moss-moon-003-sft:基座模型在约110万多轮对话数据上微调得到，具有...
API详情
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在灵积平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考ModelScope上...
API详情
目前Ziya-LLaMA通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。当前在大模型服务平台部署服务时使用的ModelScope社区模型id：Fengshenbang/Ziya-LLaMA-13B-v1，模型版本：v1.0.3。更多信息可以参考...
部署及微调Mixtral-8x7B MoE模型
通过PAI Python SDK使用模型 PAI-QuickStart提供的预训练模型也支持通过 PAI Python SDK 进行调用，首先需要安装和配置PAI Python SDK，您可以在命令行执行以下代码：#安装PAI Python SDK python-m pip install alipai-upgrade#交互式的...
使用Megatron-Deepspeed训练GPT-2并生成文本
背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，并且能在未经预训练的情况下，完成阅读理解、问答、机器翻译等多项不同的语言建模任务...
混淆矩阵
混淆矩阵（Confusion Matrix）适用于监督学习，与无监督学习中的匹配矩阵对应。在精度评价中，混淆矩阵主要用于比较分类结果和实际测量值，可以将分类结果的精度显示在一个矩阵中。本文为您介绍混淆矩阵组件的配置方法。使用限制 支持的...
隐私政策
设备信息：包括硬件型号、硬件序列号、软件列表、应用安装列表、软件安装列表、唯一设备识别码IMEI、设备MAC地址、SIM卡IMSI信息、Android ID、MEID、OpenUDID、GUID、蓝牙信息、广播组件通讯信息、ICCID、运营商信息、传感器（陀螺仪、...
隐私政策
设备信息：包括硬件型号、硬件序列号、软件列表、应用安装列表、软件安装列表、唯一设备识别码IMEI、设备MAC地址、SIM卡IMSI信息、Android ID、MEID、OpenUDID、GUID、蓝牙信息、广播组件通讯信息、ICCID、运营商信息、传感器（陀螺仪、...
隐私政策
设备信息：包括硬件型号、硬件序列号、软件列表、应用安装列表、软件安装列表、唯一设备识别码IMEI、设备MAC地址、SIM卡IMSI信息、Android ID、MEID、OpenUDID、GUID、蓝牙信息、广播组件通讯信息、ICCID、运营商信息、传感器（陀螺仪、...
MOSS开源对话语言模型
其中模型的演变路径如下：moss-moon-003-base:MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x10^22^次浮点数运算。moss-moon-003-sft:基座模型在约110万多轮对话数据上微调得到，具有...
配置FeatureStore项目
Label表 Label表是模型训练时Label所在的表，带有模型训练目标和特征实体的JoinId。在推荐场景中一般是由行为表通过 group by user_id/item_id/request_id 等操作得到。前提条件 已创建离线和在线数据源，操作详情请参见 配置数据源。已将...
FeatureStore概述
FeatureStore作为PAI产品中心化的数据管理和共享平台，用于组织、存储和管理机器学习和AI训练中使用的特征数据。FeatureStore可以方便地向多人、多团队共享特征，保证离线在线特征数据的一致性，并提供高效的在线特征访问。什么是...
Quick Audience智能实验室的模型训练次数是否有限制
问题描述 Quick Audience智能实验室的模型训练次数有没有限制？解决方案 模型训练次数有限制，模型的最大训练次数为模型预测次数的1.2倍。例如，5次模型预测规格下，最多可进行6次训练。新建和更新模型均消耗训练次数。模型的预测次数是...
云原生AI套件开发者使用指南
本文以开源数据集fashion-mnist任务为例，介绍开发者如何利用云原生AI套件，在ACK集群运行深度学习任务，优化分布式训练性能，调试模型效果，并最终把模型部署到ACK集群中。背景信息 云原生AI套件包括一系列可单独部署的组件（K8s Helm ...
INSTALL_FAILED_MEDIA_UNAVAILABLE
应用安装位置有两个：ROM、sdcard。如果严格指定安装到sdcard，但是设备没有sdcard时，就会报此类错误。解决方案 严格指定安装位置到sdcard时，如果设备没有sdcard会报此类错误，建议在 AndroidManifest.xml 中配置 android:...
产品计费
设置 Epoch参数后 训练Tokens量预估计算口径：训练数据量xEpoch参数x0.1/1000，由于训练过程有一定代码参与，会额外增加少量toknes（预估不到10%）。Epoch为模型学习全量数据次数，设置越大，训练总Tokens量越大，实际训练Tokens总量在训练...
安装AIACC-Training
方式三：安装配有AIACC-Training的Docker镜像 说明 在ECS管理控制台创建GPU实例时，如果控制台页面存在 AIACC训练加速 选项，且您已选中该选项，则GPU实例创建完成后，会同步自动安装AIACC-Training 1.3.3版本。推荐您选用上述列表中的三种...
搭建TensorFlow
然而上云之后，想要轻松、持久地运行训练任务，仍有一些痛点，例如：环境搭建麻烦：需要购买GPU实例并安装GPU驱动，即使已经把训练任务容器化，仍需要安装GPU Runtime Hook。使用缺乏弹性：运行完任务后，为了节约成本一般需要释放资源，但...
使用ECI运行TensorFlow任务
然而上云之后，想要轻松、持久地运行训练任务，仍有一些痛点，例如：环境搭建麻烦：需要购买GPU实例并安装GPU驱动，即使已经把训练任务容器化，仍需要安装GPU Runtime Hook。使用缺乏弹性：运行完任务后，为了节约成本一般需要释放资源，但...
提交训练作业
当您的训练脚本有额外的Python包依赖，训练使用的镜像中没有提供时，您可以通过在训练脚本所在目录中编写 requirements.txt，相应的三方库依赖会在您的脚本执行前被安装到作业环境中。您需要将训练脚本和相关依赖文件存放到指定目录，例如...
AI助手使用说明
安装AI助手并开启PAI的作业监控和恢复功能后，当训练任务发生故障或异常时，能自动上报故障信息、隔离问题节点，无需人工干预即可快速恢复任务。本文为您介绍AI助手的具体配置方法。前提条件 已创建带有ACK灵骏托管版的集群。具体操作，请...
- 产品推荐
- 这些文档可能帮助您