快速开始
示例代码 说明 以下代码演示了如何使用facechian提供的原生api来进行人物形象训练以及使用训练产生的资源来生成人物写真，运行下述代码时：需要使用您的API-KEY替换示例中的 YOUR_DASHSCOPE_API_KEY，代码才能正常运行。安装相关依赖 请...
快速开始
示例代码 说明 以下代码演示了如何使用facechian提供的原生api来进行人物形象训练以及使用训练产生的资源来生成人物写真，运行下述代码时：需要使用您的API-KEY替换示例中的 YOUR_DASHSCOPE_API_KEY，代码才能正常运行。安装相关依赖 请...
使用EasyASR进行语音分类
本文为您介绍如何在 DSW 中使用EasyASR算法包训练语音分类模型。前提条件 已创建 DSW 实例，且该实例满足版本限制，详情请参见 创建及管理DSW实例 和 使用限制。说明 建议使用GPU版本的 DSW 实例。使用限制 EasyASR仅支持如下Python版本和...
入门概述
评估模型 使用训练好的模型对预测数据集进行结果预测，并结合预测集中的“正确答案”评估模型效果。模板工作流demo 通过模板可以直接套用模板快速创建工作流，运行成功后进行模型部署，demo详情请参见 模板工作流demo。
SmartData常见问题
有如下两种方式：MaxCompute数仓作业将数据通过MaxCompute外表方式写入至OSS，然后在训练集群通过JindoFS缓存模式和JindoFuse来加载训练。通过JindoTable从MaxCompute拉取数据写入至JindoFS缓存模式，然后使用JindoFuse来加载训练。基于...
Llama-3开源模型全托管灵骏最佳实践
本方案将为您介绍如何使用阿里云PAI灵骏智算服务，以及基于Meta-Llama-3-8B的开源模型和Megatron的训练流程，进行模型微调、离线推理验证，并实现在线服务部署。前提条件 本方案以Meta-Llama-3-8B模型为例，在开始执行操作前，请确认您已经...
产品计费
设置 Epoch参数后 训练Tokens量预估计算口径：训练数据量xEpoch参数x0.1/1000，由于训练过程有一定代码参与，会额外增加少量toknes（预估不到10%）。Epoch为模型学习全量数据次数，设置越大，训练总Tokens量越大，实际训练Tokens总量在训练...
轻量微调和推理ChatGLM模型实践
说明 模型训练过程有量化过程，训练时间可能会比较久，请您耐心等待训练完成。cd ChatGLM-6B-main/ptuning&bash train.sh 步骤四：模型推理 运行以下命令进行模型推理。cd ChatGLM-6B-main/ptuning&bash evaluate.sh 模型推理的测评指标为...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
2021年7月22日 V5.0.0产品更新预告
问答训练 问答训练功能停用，迁移至标注中心，原问答训练功能停用，标注中心可拉取数据进行标注 原问答训练已有数据不会清除，标注完毕后将不支持拉取新数据，后续该模块将被关闭，请提前操作数据！旧标注流程：在问答训练中标注知识 新...
使用FeatureStore Python SDK搭建推荐系统
本文主要介绍使用FeatureStore Python SDK完成特征平台在推荐场景中全流程的创建以及上线的过程。前提条件 在开始执行操作前，请确认您已完成以下准备工作。依赖产品 具体操作 人工智能平台 PAI 已开通PAI服务并创建PAI工作空间，操作详情...
模型训练
config 是 训练用的EasyRec配置文件，配置文件所在的OSS全路径。train_tables 是 训练表，格式为 odps:/{project}/tables/{表名}，多个训练表之间使用半角逗号（,）分隔。eval_tables 是 评估表，格式为 odps:/{project}/tables/{表名}，多...
通过Elasticsearch机器学习实现业务数据的智能检测和...
创建推理机器学习任务 训练航班延误预测任务 本操作通过回归算法训练一个监督机器学习任务，使用Kibana自带的样例数据Sample flight data，该数据集为虚构的航班数据，通过回归算法根据历史数据训练航班延误时间的任务。预测任务可以为航空...
准备加速资源环境
接入PAI-TorchAcc进行训练加速前，您需先准备满足规格要求的训练资源环境，您可以直接在PAI上开通满足规格要求的DSW实例，或直接使用已有的ECS实例进行训练加速。本文为您介绍接入TorchAcc训练加速的环境要求。环境规格要求 接入TorchAcc...
智能异常分析概述
有监督 有监督的学习是从标签化训练数据集中推断出函数或模型的机器学习任务。日志常量 日志往往由程序中的 logging 语句或者 print 语句产生。例如 connect mysql server,latency 212ms 日志可能是通过日志输出语句 logging.info("connect...
Llama3-8B大模型微调训练
步骤三、微调模型 LoRA轻量化训练 基于已有的训练脚本/ml/code/sft.py 进行模型的LoRA轻量化训练。训练结束之后，将模型参数进行量化，以便使用更少的显存进行推理。当运行 accelerate launch 命令时，会使用这些参数启动指定的Python脚本...
类目预测功能介绍
带行为数据的模型训练，适用于已经上传行为数据，在开始训练前会自动做入口条件检查，确保数据量、数据质量、数据完整度都能达到要求，模型训练有如下步骤：说明 1.使用历史query和类目信息，抽样生成样本数据，使用行为数据进行样本数据打...
管理定制模型
对于已创建的定制模型，您可以对其进行自动化测试、重新训练及删除操作。前提条件 已创建定制模型，...重新训练 如果您对模型训练结果不满意，或者训练语料内容有更新，可单击 重新训练，重新训练模型。删除 单击 删除，即可删除目标模型。
Kohya使用方法与实践案例
Kohya官方建议：LoCon：dim,alpha=1（或更低）LoHA：dim，alpha=1 clip skip 文本编码器跳过层数 Clip跳过，二次元选2，写实模型选1，动漫模型训练最初就有跳过一层，如使用训练素材也是二次元图像，再跳一层=2。Sample every n epoch 每n...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练...联系我们 如果您有分布式训练相关的问题或需求，欢迎使用钉钉搜索群号 33617640 加入阿里云神龙AI加速AIACC外部支持群。（钉钉通讯客户端下载地址）
PS-SMART回归
该特性重要性表中仅有2个特性，表示树在分裂过程中仅使用了这两个特性，可以认为其他特性的特征重要性为0。value 列表示特征重要性类型，默认为 gain，即该特征对模型带来的信息增益之和。PS-SMART模型部署说明 如果您需要将PS-SMART组件...
XGBoost预测
XGBoost算法在Boosting算法的基础上进行了扩展和升级，具有较好的易用性和鲁棒性，被广泛用在各种机器学习生产系统和竞赛领域，该算法支持分类和回归。XGBoost预测组件是在开源社区的基础上进行包装，您可以使用该组件对XGBoost训练组件...
EAS部署ChatGLM&Langchain
经过约1T Token的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。LangChain是一个开源框架，可以让AI开发人员把大型语言模型（LLM）和外部数据结合起来，让...
模型部署及训练
您可以基于预训练模型快速上手并使用PAI的训练和部署功能。本文为您介绍如何在快速开始中查找适合您业务需求的模型、部署和调试模型、微调训练模型。前提条件 如果您需要对模型进行微调训练或增量训练，则需要创建OSS Bucket存储空间。具体...
上传企业知识
3.当前阿里云百炼里面导入企业文档，进行问答，有进行FT或者某种方式的模型训练吗？有。导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库，然后在问答过程中先根据用户query进行向量检索，然后将检索结果和问题...
图像度量学习训练（raw）
本文为您介绍图像度量学习训练（raw）组件的配置方法和使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：Designer。功能限制 支持的计算引擎为DLC。算法简介 图像度量学习训练（raw）组件提供了...
快速开始
您可以通过如下方式查看模型定制任务的日志，用以观察训练的效果。Shell dashscope fine_tunes.stream-j<替换为您的定制任务id>HTTP curl --location 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<替换为您的定制任务id>/logs?...
图像检测训练（easycv）
无 预训练模型oss路径 否 如果有自己的预训练模型，则将该参数配置为自己预训练模型的OSS路径。如果没有配置该参数，则使用PAI提供的默认预训练模型。无 训练数据oss路径 是 仅当数据源格式为 COCO格式 时候，才会显示填写此单元格，此处...
模型说明
UIE小样本实体抽取模型 基于Deberta模型在千万级监督和远监督数据上预训练得到，支持重叠实体抽取；可以较好地处理零样本场景下推理（不需要训练数据，直接预测）和小样本场景下fine-tune（经过少量样本，如1，5，10，100条数据训练后再...
实验管理
实验管理提供了通过TensorBoard可视化对比任务指标的功能，本文为您介绍如何在快速开始的微调训练任务中使用实验管理。前提条件 如您需要使用TensorBoard进行指标可视化，则需要创建OSS Bucket存储空间，具体操作请参见 控制台创建存储空间...
在FeatureStore中使用自动特征工程（AutoFE）
特征选择 当特征个数超过800列时，对后面特征分析和模型训练的性能有一定的影响，推荐使用GBDT对原始特征做初步评估筛选。特征分析 对特征进行统计分析、组合生成和用SAFE选择，生成新的特征集合。统计分析：通过多个重要统计指标（均值/...
使用云原生AI监控大盘
训练任务监控大盘有以下可供您查看的指标：Training Jobs：通过表格的形式展示各个训练任务的情况，包括：训练任务所在命名空间（Namespace）训练任务名称（Job Name）训练任务类型（Job Type）训练任务状态（Job Status）训练任务持续时间...
搭建TensorFlow
然而上云之后，想要轻松、持久地运行训练任务，仍有一些痛点，例如：环境搭建麻烦：需要购买GPU实例并安装GPU驱动，即使已经把训练任务容器化，仍需要安装GPU Runtime Hook。使用缺乏弹性：运行完任务后，为了节约成本一般需要释放资源，但...
使用ECI运行TensorFlow任务
然而上云之后，想要轻松、持久地运行训练任务，仍有一些痛点，例如：环境搭建麻烦：需要购买GPU实例并安装GPU驱动，即使已经把训练任务容器化，仍需要安装GPU Runtime Hook。使用缺乏弹性：运行完任务后，为了节约成本一般需要释放资源，但...
计费方式与价格说明
数据同步 58.82元/日/10万有行为用户数 1CU/计算单元 20万/日（2CU）模型训练 294.10元/日/10万有行为用户数 5CU/计算单元 20万/日（10CU）推理与调用 294.10元/日/10万有调用用户数 5CU/计算单元 10万/日（5CU）一下均以一天内使用量举例...
使用EAIS训练PyTorch模型（EAIS内置AIACC-Training）
使用场景 EAIS实例适合用于对数据I/O要求不高，但对模型的性能、承载能力有较高要求的场景，例如可以使用EAIS实例训练AIGC、LLMs相关的模型（例如Stable-Diffusion、LLama等）。操作步骤 远程登录ECS实例。登录 EAIS控制台。在页面左上角...
AI加速使用案例汇总
数据集加速器使用案例 案例名称 描述 在PAI平台使用数据集加速器 介绍如何在创建DSW实例或提交训练任务时直接使用已开启加速的数据集。分布式训练加速使用案例 案例名称 描述 NLP：TorchAcc提速BERT Base分布式训练 介绍如何在BERT-Base...
DLC使用案例汇总
使用NAS提交单机PyTorch迁移学习任务 介绍如何使用 DLC 和NAS，基于PyTorch进行离线迁移训练。使用paiio读写MaxCompute表数据 PAI团队开发了paiio模块，支持您在 DLC 任务中读写MaxCompute表数据。该文档介绍如何使用paiio读写MaxCompute表...
创建服务
TrainTaskId Long 是 58 训练任务ID，用以标识唯一训练任务。Name String 是 test3 发布服务名称。Description String 否 test3 发布服务描述。AuthorizationType String 否 DESIGNATED_ACCOUNT 授权类型。取值：PUBLIC：指当前服务可被...
- 产品推荐
- 这些文档可能帮助您