性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
Word2Vec
Word2Vec算法组件利用神经网络，通过训练，将词映射为K维度空间向量，且支持对表示词的向量进行操作并和语义相对应。输入为单词列或词汇表，输出为词向量表和词汇表。使用说明 Word2Vec组件的上游需要接入 词频统计 组件。说明 词频统计的...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
基于eGPU优化套件的ResNet50模型训练和推理
本文以卷积神经网络模型ResNet50的训练和推理为例，为您介绍如何通过Docker或Kubernetes使用eGPU优化套件，进行GPU容器虚拟化和资源共享。本实践中的ResNet50模型基于NVIDIA官方开源代码DeepLearningExamples实现。步骤一：准备模型和数据...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
创建及管理数据集加速槽
在使用数据集加速器（DatasetAccelerator）进行训练数据加速前，您需要创建数据集加速槽来绑定数据源的存储地址。系统会根据数据源类型、数据大小、训练的框架以及模型等因素，对关联的数据集数据进行预处理，以提高对数据集数据的访问速度...
图片分类
在快速开始中，您可以选择直接部署开源的预训练图片分类模型，或针对定制化场景，使用自己的数据集对预训练模型进行微调训练，并使用微调训练模型将图片分类成定制化的类别。本文为您介绍如何使用快速开始执行图片分类任务。前提条件 已...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
灵骏常见问题
您使用神经网络进行的许多计算都可以很容易地分解成更小的计算，各个小计算不会相互依赖。智能计算灵骏与普通GPU托管服务有什么不同？智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
Z-Score归一化
在机器学习领域，Z-Score归一化经常用于数据处理，例如神经网络、聚类分析等应用。组件截图 二、参数说明 参数名称 参数说明 选择归一化字段 选择需要归一化的字段。可多选。三、有配置文件可读 在上游有配置文件可以选择的时候，可以使用...
创建安全联邦学习任务（任务模式）
适用特征维度特别多，特别是神经网络算法。数据集设置 配置使用方和加持方的数据信息，用于后续的数据处理。使用方：指需要数据的一方。加持方：指提供数据的一方。训练集：需训练的数据表。Label字段：指标签字段，用于后续训练学习。对齐...
基本概念
cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研的分布式训练任务AI加速器，可以显著提升训练性能。AIACC-Inference 阿里云自研...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
支持向量回归算法（SVR）
sigmoid：使用该函数作为核函数时，效果类似多层神经网络。c 松弛系数的惩罚项系数。取值为大于0的浮点数，可不填。默认值为1。说明 如果数据质量较差，可以适当降低惩罚项 c 的值。epsilon SVR损失函数的阈值。当预测值与实际值的差值等于...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
Kohya使用方法与实践案例
此时您可以选择借助神经网络，完成对所有图片批量生成文本描述的工作。您也可以在Kohya中选择使用一个叫做BLIP的图像打标模型。打标 数据集 在Kohya-SS页面，选择 Utilities>Captioning>BLIP Captioning。选择已创建的数据集里面上传的图片...
模型仓库（FastNN）
PAI模型仓库FastNN（Fast Neural Networks）是一个基于PAISoar的分布式神经网络仓库。目前FastNN已经支持了Inception、Resnet、VGG等经典算法，后续会逐步开放更多的先进模型。目前FastNN已经内置于 Designer 平台中，并且可以直接在该平台...
模型创建
TFT TFT（Temporal Fusion Transformer）算法是基于Transformer机制的深度神经网络算法，详细信息，请参见 TFT论文。时序异常检测 esd 达摩院自研算法，适用于尖刺型异常（例如监控曲线出现尖刺的现象），对于数据点中有少量显著离群点的...
CREATE MODEL
TFT TFT（Temporal Fusion Transformer）算法是基于Transformer机制的深度神经网络算法，详细信息，请参见 TFT论文。时序异常检测 TIME_SERIES_ANOMALY_DETECTION esd 达摩院自研算法，适用于尖刺型异常（例如监控曲线出现尖刺的现象），...
使用AMD CPU实例部署通义千问Qwen-7B-Chat
ZenDNN运行库包括为AMD CPU架构优化的基本神经网络构建块的API，使深度学习应用程序和框架开发人员能够提高AMD CPU上的深度学习推理性能。wget ...
使用AMD CPU实例部署ChatGLM-6B
ZenDNN运行库包括为AMD CPU架构优化的基本神经网络构建块的API，使深度学习应用程序和框架开发人员能够提高AMD CPU上的深度学习推理性能。wget ...
搭建类似妙鸭相机的应用
虽然目前开源版本的facechain下载后即可配置使用，但存在以下问题：训练和推理的过程中会直接从模型Hub下载模型，整个应用涉及多个模型，大小约25 GB，导致整体耗时长，并且直接通过公网下载模型对带宽和网络稳定性要求很高，一旦无法下载...
搭建类似妙鸭相机的应用
虽然目前开源版本的facechain下载后即可配置使用，但存在以下问题：训练和推理的过程中会直接从模型Hub下载模型，整个应用涉及多个模型，大小约25 GB，导致整体耗时长，并且直接通过公网下载模型对带宽和网络稳定性要求很高，一旦无法下载...
人工智能最佳实践
神经风格迁移教程 神经风格迁移是一种生成技术，主要用来合成两张图像，即从其中一张图像提取内容，另一张图像提取风格，以合成一张新图像。本示例通过使用TensorFlow Hub预置模型，完成任意图像的风格合成。合成效果 内容图像 风格图像 ...
Llama-3开源模型全托管灵骏最佳实践
预训练模型 先在DSW单机环境中对训练脚本进行调试，调试完成后，您便可以在DLC环境提交多机多卡的分布式训练任务，训练时长取决于您设定的训练Tokens数量。任务执行完成后，模型文件将被保存至/mnt/workspace/output_megatron_llama3/目录...
图文生图
本服务⽣成的所有内容均由AI模型⾃动⽣成，我们在训练过程中已通过将训练数据持续过滤来提升 内容理解和⽣成的准确性，但仍不排除其中有部分信息存在⼀定的敏感性、不合理或导致理解歧义的 问题存在，可能会引发您的不适。您可以通过钉钉群...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
应用场景
超大规模GPU算力系统，全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、Xgboost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同...
灵骏智算资源配额
阿里云PAI为您提供灵骏智算资源，可用于AI开发和训练，如果您希望进行高性能AI训练、高性能计算，可以通过配置资源配额来使用灵骏智算资源。本文为您介绍如何新增、管理以及使用资源配额。前提条件 已创建灵骏智算资源专有资源组并购买了...
PAI灵骏智算服务概述
您只需为AI训练所消耗的资源付费，无需建设、调优和运维复杂的计算节点、存储及RDMA网络，即可使用高扩展性、高性能、高性价比的智能计算基础设施环境。产品架构 PAI灵骏 是软硬件一体化设计的算力集群服务，硬件涵盖了服务器、网络、存储...
创建训练任务
说明 当资源配额选择灵骏智算资源时，为了充分利用灵骏智算资源的高性能RDMA网络，当使用自定义镜像时，需手动安装RDMA，操作详情请参见 RDMA：使用高性能网络进行分布式训练。镜像地址：支持配置您的自定义镜像、社区镜像以及PAI平台镜像...
数据集加速器概述
通过感知深度学习训练的模型类型、网络结构，对图片、文本、视频等数据进行预先打包和处理，提升海量小文件训练场景的性能。全托管，开箱即用。云上全托管服务，操作简单，开通即可使用。弹性可伸缩。依托于云上IaaS（Infrastructure-as-a-...
使用NAS提交单机PyTorch迁移学习任务
本文介绍如何使用 DLC、DSW和NAS，基于PyTorch进行离线迁移训练。前提条件 选择合适的地域，创建通用型NAS文件系统，详情请参见 通过控制台创建通用型NAS文件系统。使用限制 本文的操作仅支持通用计算资源公共资源组的工作集群。步骤一：...
5分钟使用EAS一键部署Kohya SD模型微调应用
LoRA network weights LoRA网络权重，如果要接着训练则选用最后训练的LoRA。选填。Train batch size 训练批量大小。该值越大，对显存的要求越高。Epoch 训练轮数，将所有数据训练一次为一轮。需要自行计算。一般情况下：Kohya中总训练次数=...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容...
- 产品推荐
- 这些文档可能帮助您