性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
数据集加速器概述
通过感知深度学习训练的模型类型、网络结构，对图片、文本、视频等数据进行预先打包和处理，提升海量小文件训练场景的性能。全托管，开箱即用。云上全托管服务，操作简单，开通即可使用。弹性可伸缩。依托于云上IaaS（Infrastructure-as-a-...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
灵骏常见问题
您使用神经网络进行的许多计算都可以很容易地分解成更小的计算，各个小计算不会相互依赖。智能计算灵骏与普通GPU托管服务有什么不同？智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算...
ACK集群实现弹性裸金属AI训练
本文介绍弹性裸金属AI训练的场景描述、解决问题、架构图及操作参考链接。场景描述 本方案适用于AI图片训练场景，尤其是对性能要求苛刻、业务交付紧迫的场景。例如自动驾驶的模型训练（图片）等AI模型训练的场景。本方案使用了SCC超级计算...
Kohya使用方法与实践案例
此时您可以选择借助神经网络，完成对所有图片批量生成文本描述的工作。您也可以在Kohya中选择使用一个叫做BLIP的图像打标模型。打标 数据集 在Kohya-SS页面，选择 Utilities>Captioning>BLIP Captioning。选择已创建的数据集里面上传的图片...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
Z-Score归一化
在机器学习领域，Z-Score归一化经常用于数据处理，例如神经网络、聚类分析等应用。组件截图 二、参数说明 参数名称 参数说明 选择归一化字段 选择需要归一化的字段。可多选。三、有配置文件可读 在上游有配置文件可以选择的时候，可以使用...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
图像检测训练（easycv）
图像检测训练（easycv）组件提供了主流的YOLOX和FCOS检测模型，用于目标检测的训练。若需在图像中标识并框选高风险实体，您可使用该组件构建目标检测模型，并进行推理分析。本文介绍图像检测训练（easycv）组件的配置方法和使用示例。前提...
图片分类
在快速开始中，您可以选择直接部署开源的预训练图片分类模型，或针对定制化场景，使用自己的数据集对预训练模型进行微调训练，并使用微调训练模型将图片分类成定制化的类别。本文为您介绍如何使用快速开始执行图片分类任务。前提条件 已...
ACK集群实现GPU AI模型训练
本文介绍GPU AI模型训练的场景描述、解决问题、架构图及操作参考链接。场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。...
基本概念
cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研的分布式训练任务AI加速器，可以显著提升训练性能。AIACC-Inference 阿里云自研...
PAI图像语义分割训练
PAI-EasyVision提供图像语义分割模型的训练及预测功能，本文为您介绍如何通过PAI命令进行图像语义分割模型训练。图像语义分割训练 图像分割组件实现了基于DeepLab-V3的语义分割模型，详情请参见 Encoder-Decoder with Atrous Separable ...
5分钟使用EAS一键部署Kohya SD模型微调应用
通过EAS，您可以一键部署开源Kohya_ss服务并训练LoRA模型。在AI绘画场景中，您可以将经过训练的LoRA模型应用于Stable Diffusion（SD）服务，作为辅助模型，以提升SD绘画的效果。前提条件 已开通 EAS 并创建默认工作空间，详情请参见 开通...
模型训练最佳实践
最佳实践 为了更好的讲解模型训练模块的使用，我们将通过一个训练示例完成整个训练流程使用说明，更多的示例请参考模型训练最佳实践。示例任务：阅读理解 任务说明：依据给定的文本内容，模型完成内容的理解并且回答与内容相关的问题。数据...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
TairVector性能白皮书
200 1,183,514 10,000 902 MB COSINE Deep-image-96-angular 该数据集是ImageNet图片经过GoogLeNet模型训练，从最后一层神经网络提取的向量。96 9,990,000 10,000 3.57 GB COSINE Random-s-100-euclidean 该数据集为测试工具随机生成，不...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
PAI端到端文字识别训练
PAI-EasyVision提供端到端文字识别模型的训练及预测功能，本文为您介绍如何通过PAI命令进行端到端文字识别模型训练。PAI-EasyVision对配置进行了简化，您通过-Dparam_config 即可配置常用参数，无需了解PAI-EasyVision的配置文件规则和逻辑...
语言模型
我们为您提供了通用模型，是语言基础模型，如果您在自己的领域积累了丰富的历史数据，可以使用这些历史数据作为语料来对自定义的语言模型进行训练，自定义的语言模型在训练时，是在通用模型的基础上进行训练的，通过对您的训练语料做模型...
如何开启模型训练
本篇文章讲解如何训练新模型。视频介绍 定义 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，...
PAI图像分类（多标签分类）训练
PAI平台提供图像多标签分类相关算法，支持千万级别超大规模的图片样本训练。本文为您介绍如何使用PAI命令基于图片数据生成图像多标签分类模型。图像分类训练 您可以使用 SQL脚本 组件进行PAI命令调用，也可以使用MaxCompute客户端或...
什么是人工智能平台PAI
业内领先的AI优化：高性能的训练框架，稀疏训练场景，支持数十亿到数百亿的稀疏特征规模，数百 亿到数千亿的样本规模，上千worker的分布式增量训练。主流框架模型加速，使用PAI Blade提升RestNet50、Transformer+LM等十数个主流模型加速比...
应用场景
超大规模GPU算力系统，全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、Xgboost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同...
PAI灵骏智算服务概述
PAI灵骏 是一种大规模高密度计算服务，全称“PAI灵骏智算服务”，提供高性能AI训练、高性能计算所需的异构计算算力服务。PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动...
创建训练任务
说明 当资源配额选择灵骏智算资源时，为了充分利用灵骏智算资源的高性能RDMA网络，当使用自定义镜像时，需手动安装RDMA，操作详情请参见 RDMA：使用高性能网络进行分布式训练。镜像地址：支持配置您的自定义镜像、社区镜像以及PAI平台镜像...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容...
创建及管理数据集加速槽
在使用数据集加速器（DatasetAccelerator）进行训练数据加速前，您需要创建数据集加速槽来绑定数据源的存储地址。系统会根据数据源类型、数据大小、训练的框架以及模型等因素，对关联的数据集数据进行预处理，以提高对数据集数据的访问速度...
图像分类训练（torch）
如果您的业务场景涉及图像分类，则可以通过图像分类训练（torch）组件构建图像分类模型，从而进行模型推理。本文为您介绍图像分类训练（torch）组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品...
PAI图像检测训练
PAI-EasyVision提供图像检测模型的训练及预测功能，本文为您介绍如何通过PAI命令进行图像检测模型训练。PAI-EasyVision对配置进行了简化，您通过-Dparam_config 即可配置常用参数，无需了解PAI-EasyVision的配置文件规则和逻辑。如果需要...
图像关键点训练
如果您的业务场景涉及人体相关的关键点检测，则可以通过图像关键点训练组件构建关键点模型，从而进行模型推理。本文为您介绍图像关键点训练组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖...
UpdateAvatarTrainingJob-更新数字人训练任务信息
缩略图 URL 训练成功后会将缩略图上传到本地址中 必须是用户下合法的 OSS 公网 URL 不多于 512 个字符 训练成功后不允许更新 https://your-bucket.oss-cn-hangzhou.aliyuncs.com/thumbnail.png Portrait string 否 头像图片媒资 ...
CreateAvatarTrainingJob-创建和初始化数字人训练任务
本接口用于创建数字人训练任务，配置数字人基础信息与训练所需要的...AvatarType string 否 数字人类型 2DAvatar Thumbnail string 否 缩略图 URL 训练成功后会将缩略图上传到这个地址中 必须是用户下合法的 OSS 公网 URL 不多于 512 个字符 ...
基于AIACC加速器快速实现LLaMA-7B指令微调
本文基于Alpaca提供了一套LLaMA-7B模型在阿里云ECS上进行指令微调的训练方案，最终可以获得性能更贴近具体使用场景的语言模型。背景信息 LLaMA（Large Language Model Meta AI）是Meta AI在2023年2月发布的开放使用预训练语言模型（Large ...
- 产品推荐
- 这些文档可能帮助您