API详情
必选 描述 training_file_ids Array Body 是 训练集文件列表。validation_file_ids Array Body 否 验证集文件列表。model String Body 是 用于定制的基础模型名，或其他定制任务产出的finetuned_output。hypter_parameters Map Body 否 ...
数据准备快速入门
使用ETL需要拥有相应数据集或数据源的权限：输入节点：数据集：必须有数据集使用权限。数据源表：必须有数据源使用权限。输出节点：数据集：必须有数据集新建（编辑）权限。数据源表：必须有数据源使用权限。仅专业版群空间支持使用轻量ETL...
数字人和人声克隆
数字人使用 使用训练生成或官方的数字人形象，通过文字或语音驱动数字人视频合成，按照合成时长计费。计费规则：根据实际数字人生成合成的成片时长来计费，合成失败不收取费用。计费周期：小时结算，阿里云将在下一计费周期就您上一计费...
EAS使用案例汇总
使用EAS Python SDK部署模型 介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用基于MNIST数据集训练的手写数字识别模型服务。示例代码 介绍 EAS 的服务调用示例和Python SDK。Proxima在EAS上部署最佳实践 介绍如何将Proxima部署为...
5分钟使用EAS一键部署Kohya SD模型微调应用
使用训练的LoRA模型进行Stable Diffusion AIGC绘画 当您训练好自己的LoRA模型后，可将其上传到相应的SD WebUI的目录中进行挂载使用，从而实现利用自己训练的LoRA模型生成图片。如何部署Stable Diffusion服务，可参考：5分钟使用EAS一键部署...
案例推理-预测
否：不重置，即使用训练模型时配置的案例指标目标值作为最优目标值以及权重。是 否 是 否 案例指标目标值或权重设置 案例指标目标值或权重设置（会将案例指标目标值作为优化目标并向目标值优化；权重表示各案例指标推荐好坏的重要程度，...
应用案例
对遥感图像上某些样区中影像地物的类别属性有了先验知识，对每一种类别选取一定数量的训练样本，计算机计算每种训练样区的统计或其他信息，同时用这些种子类别对判决函数进行训练，使其符合于对各种子类别分类的要求，随后用训练好的判决...
配置 MPC 项目
参数 说明 训练节点 选择一个节点，节点来源于 节点管理 模块中使用训练引擎的节点。模型传输方式 支持以下两种模型传输方式：平台加密传输 训练节点的模型文件通过加密后传输到平台，然后将该模型文件通过平台下载到预测节点本地，并在...
使用EAS Python SDK部署模型
背景信息 本文旨在介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用基于MNIST数据集训练的手写数字识别模型服务。MNIST数据集是手写的数字0~9的数据集，本文会随机选取一个手写数字测试样本并输出其灰度图像，以此作为输入数据对...
部署及微调Qwen-72B-Chat模型
在这一算法组件中，我们提前对模型Checkpoint进行了切分，适配多机多卡环境训练，开发者只需根据格式要求准备训练集和验证集，配置任务超参数或使用模型预置的默认超参，就可以一键拉起微调训练任务。训练算法支持使用JSON格式输入，每条...
部署及微调Mixtral-8x7B MoE模型
训练算法支持使用JSON格式输入，每条数据由问题、答案组成，分别用"instruction"、"output"字段表示，例如：[{"instruction":"Write a poem on a topic 'On a Political Prisoner':","output":"She that but little patience knew,\r From ...
通用联邦学习模板
交叉验证：在交叉验证中，数据集被划分为训练集和验证集两部分，模型基于训练集进行训练，然后用验证集来评估模型的性能。这种方法可以有效地评估模型的泛化能力，并减少因样本随机性带来的影响。混淆矩阵：评估分类模型性能的一种重要工具...
数据拆分
一、组件说明 在联邦学习任务中，数据拆分是将一份原始数据集分成训练集和测试集两个部分的过程。拆分数据集的目的是为了在训练模型时能够使用独立的数据集来评估模型的性能和泛化能力。训练集是模型用来学习的数据集，可以用于训练模型并...
模型部署及训练
数据集配置 训练数据集 快速开始提供了默认的训练数据，如果您不使用默认数据集，需要按照模型文档中的训练数据格式准备好训练数据，然后参考以下两种方式上传训练数据。OSS文件或目录。单击，选择数据集所在的OSS路径。在 选择OSS目录或...
数据集加速器概述
一个数据集加速实例可以创建多个加速槽，一个加速槽用于加速一个数据集，可以实现多个深度学习训练任务使用不同的数据集同时训练的场景。数据集加速实例和加速槽的关系 一个用户可以开通多个数据集加速实例，每个数据集加速实例可以申请多...
图片分类
在快速开始中，您可以选择直接部署开源的预训练图片分类模型，或针对定制化场景，使用自己的数据集对预训练模型进行微调训练，并使用微调训练模型将图片分类成定制化的类别。本文为您介绍如何使用快速开始执行图片分类任务。前提条件 已...
联邦建模概述
模型训练：使用预处理过的训练集数据训练模型。模型评估：使用预处理过的测试集数据评估模型效果。典型的模型开发业务逻辑如下图所示，其中，离线样本生成的三种联邦表分别以训练集、验证集和测试集作为预处理、预处理应用和模型评估的输入...
在PAI平台使用数据集加速器
您可以在创建DSW实例或提交训练任务时，直接使用已开启加速的数据集，提升数据读取效率。本文为您介绍如何在PAI平台使用数据集加速器。前提条件 已创建数据集加速实例，具体操作，请参见 创建及管理数据集加速实例。开启数据集加速：新建...
ACK集群实现GPU AI模型训练
场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据。使用飞天AI加速训练工具加速训练。使用Arena一...
部署及微调Llama-3系列模型
获取模型的微调训练算法 est=model.get_estimator()#获取PAI提供的公共读数据和预训练模型 training_inputs=model.get_estimator_inputs()#使用用户自定义数据#training_inputs.update(#{#"train":"<训练数据集OSS或是本地路径>",#...
部署及微调Qwen1.5系列模型
获取模型的微调训练算法 est=model.get_estimator()#获取PAI提供的公共读数据和预训练模型 training_inputs=model.get_estimator_inputs()#使用用户自定义数据#training_inputs.update(#{#"train":"<训练数据集OSS或是本地路径>",#...
DLC使用案例汇总
使用NAS提交单机PyTorch迁移学习任务 介绍如何使用 DLC 和NAS，基于PyTorch进行离线迁移训练。使用paiio读写MaxCompute表数据 PAI团队开发了paiio模块，支持您在 DLC 任务中读写MaxCompute表数据。该文档介绍如何使用paiio读写MaxCompute表...
模型训练最佳实践
训练准备 完成训练集的构建后，可进入模型管理界面选择训练集进行训练，平台提供Fine-tuning的训练方式，同时提供多种参数的调整，可依据业务需求和理解调整参数，优化模型训练效果。我们以阅读理解后进行问答的任务为示例，演示模型训练的...
智能圈选人群
PAI为您提供智能圈选人群功能，您可以通过 策略训练任务 选择使用内置的智能算法，对人群数据（训练数据）进行训练，生成圈选策略，再基于圈选策略通过 人群圈选任务 对人群数据（预测数据）进行智能筛选过滤，产出目标人群数据。...
ACK集群实现弹性裸金属AI训练
本方案使用了SCC超级计算集群，采用弹性裸金属GPU服务器、并行文件系统CPFS、RDMA网络、阿里云容器服务Kubernetes版和飞天AI加速训练工具，提供性能稳定的训练环境，保障业务能力。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据...
AI加速使用案例汇总
数据集加速器使用案例 案例名称 描述 在PAI平台使用数据集加速器 介绍如何在创建DSW实例或提交训练任务时直接使用已开启加速的数据集。分布式训练加速使用案例 案例名称 描述 NLP：TorchAcc提速BERT Base分布式训练 介绍如何在BERT-Base...
机器阅读理解训练
使用 读OSS数据-1、读OSS数据-2 组件分别读取训练数据集和验证数据集。即配置 读OSS数据 组件的 OSS数据路径 参数为存放训练数据集和验证数据集的OSS路径。将训练数据集和验证数据集接入 机器阅读理解训练 组件，并配置具体参数，详情请...
云原生AI套件开发者使用指南
通过本文操作，可实现以下目标：数据集管理 使用Jupyter Notebook搭建开发环境 提交单机训练任务 提交分布式训练任务 使用Fluid加速训练任务 使用ACK AI任务调度器加速训练任务 模型管理 模型评测 部署推理服务 步骤一：为开发者创建账号并...
圈选任务数据说明
圈选任务输入数据说明 准备输入数据 当您的训练数据集和预测数据集完全一致时，即user_id是完全相同的一批数据，您只需按照下方输入数据格式说明准备人群数据即可。说明 您无需准备特征数据，系统会从人群圈选任务关联的策略训练任务的输入...
工业视觉智能基本概念
工作区 通过预设的场景帮助用户识别自身需求，用户通过工作区管理自己的数据集与模型。工作区是完整视觉智能能力的承载...训练 训练指基于训练数据集，根据学习策略、从假设空间中选择的最优模型，以及求解模型的算法，来进行模型求解的过程。
预训练模型使用教程
注：预训练提供的模型服务无需自主标注训练，直接调用API即可使用；服务开通与资源包购买 预训练模型使用前，请确认是否已经开通了NLP自学习平台服务，开通后可购买资源包。NLP自学习平台：开通地址 自学习平台资源包：购买地址 说明 预...
生成中文摘要
针对定制化场景，您也可以使用自己的数据集对模型进行微调训练。本文为您介绍如何在快速开始完成中文标题生成任务。前提条件 已创建OSS Bucket存储空间，具体操作请参见 控制台创建存储空间。一、进入模型详情页面 进入快速开始页面。登录 ...
AutoML计费说明
本文为您介绍AutoML产生的费用说明。...在PAI的训练任务使用场景下通常不涉及 上传/下载资源。使用按量计费后，在计算资源费用中，算法任务的账单出现在PAI产品下，其他任务（例如：SQL类任务）的账单出现在MaxCompute产品下。
授予数据集权限
数据集的协同授权包含使用数据集和协同编辑数据集，本文为您介绍如何授予数据集协同操作的权限。背景信息 组织管理员、权限管理员、空间管理员或资源Owner（创建者）可以进行授权操作，其中：表示当前用户类型需要授权后才支持该操作。表示...
文本摘要训练
使用 读OSS数据-1 和 读OSS数据-2 组件分别读取训练数据集和验证数据集。即配置 读OSS数据 组件的 OSS数据路径 参数为存放训练数据集和验证数据集的OSS路径。将训练数据集和验证数据集接入 文本摘要训练-1 组件，并配置具体参数，详情请...
关键短语抽取
服务开通与资源包购买 预训练模型使用前，请确认是否已经开通了NLP自学习平台服务，开通后可购买资源包。NLP自学习平台：开通地址 自学习平台资源包：购买地址 一、创建项目 在NLP自学习平台中【点击进入自学习管控台】，支持多个基本项目...
对接操作审计
自学习工具 AddDataToAsrLmModel 为语言模型添加训练数据集。CreateAsrLmData 创建ASR语言自学习训练数据集。CreateAsrLmModel 创建ASR语言自学习模型。CreateAsrVocab 创建ASR热词。DeleteAsrLmData 删除ASR语言模型数据集。...
图像度量学习训练（raw）
本文为您介绍图像度量学习训练（raw）组件的配置方法和使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：Designer。功能限制 支持的计算引擎为DLC。算法简介 图像度量学习训练（raw）组件提供了...
异构计算产品最佳实践概览
神龙AI加速引擎AIACC 使用AIACC-Training（AIACC训练加速）加速BERT Finetune模型 适用于自然语言训练场景，使用GPU云服务器和极速型NAS进行BERT Finetune模型训练，使用AIACC-Training（AIACC训练加速）可以有效提升多机多卡的训练效率。...
启动方式与环境变量说明
整合了不同的底层通讯设施和多种训练模式，同时兼容了分布式训练与弹性训练，新旧启动方式升级如下所示：启动方式如下：单机 默认使用gloo的backend，启动命令如下：perseusrun-np NP[-H localhost:N]-COMMAND[ARG[ARG.]]多机 以使用MPI为...
- 产品推荐
- 这些文档可能帮助您