视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
模型部署及训练
您可以基于预训练模型快速上手并使用PAI的训练和部署功能。本文为您介绍如何在快速开始中查找适合您业务需求的模型、部署和调试模型、微调训练模型。前提条件 如果您需要对模型进行微调训练或增量训练，则需要创建OSS Bucket存储空间。具体...
使用快速开始零代码部署微调Llama2系列大模型
如果您希望以零代码的方式在PAI上完成Llama2系列大语言模型的训练和推理，您可以使用快速开始的一键部署，快速启动Llama2系列模型的在线推理服务，并通过WebUI和API两种方式调用，或者使用自己的数据集对预训练模型进行微调训练，实现定制...
开发流程
快速开始 您可以通过快速开始快速上手并体验PAI的训练和部署流程，详情请参见 快速开始概述。如果您想更详细地了解并使用PAI的子产品（Designer、DSW、DLC、EAS 等），详情请参见 AI开发流程。AI开发流程 进入工作空间后，在左侧导航栏可以...
产品架构
虚拟化网络背景信息 随着云计算的不断发展，人们对虚拟化网络的要求越来越高，例如弹性（scalability）、安全性（security）、可靠性（reliability）和私密性（privacy），并且还有较高的互联性能（performance）等需求，因此催生了多种...
使用PAI Python SDK训练和部署PyTorch模型
PAI Python SDK 是PAI提供的Python SDK，提供了更易用的HighLevel API，支持用户在PAI完成模型的训练和部署。本文档介绍如何使用PAI Python SDK在PAI完成一个PyTorch模型的训练和部署。背景信息 PyTorch 是一个非常流行的深度学习框架，...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
TairVector性能白皮书
200 1,183,514 10,000 902 MB COSINE Deep-image-96-angular 该数据集是ImageNet图片经过GoogLeNet模型训练，从最后一层神经网络提取的向量。96 9,990,000 10,000 3.57 GB COSINE Random-s-100-euclidean 该数据集为测试工具随机生成，不...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
组件参考：所有组件汇总
拆分 该组件是对数据进行随机拆分，用于生成训练和测试集。缺失值填充 您可以通过可视化或PAI命令的方式，配置该组件参数。归一化 该组件支持将稠密数据或稀疏数据进行归一化处理。标准化 该组件分为可分化方式和PAI命令方式生成标准化实例...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
产品功能
模型训练 运行自动机器学习 GDB Automl提供运行自动机器学习功能，您可以配置实验基本参数（包括训练数据帧、验证数据帧和目标特征列，用于排行榜对模型排序的第一指标等）和训练参数（例如K折交叉验证折数，指定训练权重列、排序指标、...
分布式通信框架gRPC+
gRPC+通过Sharing Nothing架构、BusyPolling机制、用户态零拷贝及Send/Recv融合等多种优化技术，降低了E2E的通信延时，提高了Server的吞吐能力，从而可以支持更大的训练规模和训练性能。针对典型业务场景，其训练性能比原生TensorFlow提升...
分布式训练框架StarServer
PAI-TF支持更大的训练规模和训练性能，针对典型业务场景，其训练性能比原生TensorFlow提升了数倍。其中，最大测试规模为3000 Worker时，PAI-TF达到近似线性扩展性。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow...
什么是网络智能服务
网络智能服务 NIS（Network Intelligence Service）是一个对网络进行健康分析、性能监控、诊断修复、流量分析和测量仿真的云服务，通过集成机器学习、知识图谱等AIOps方法减少网络使用复杂性，提供自助运维能力，方便网络架构师和运维...
云数据库混访概述
在使用混访混挂方案将经典网络迁移至专有网络时，您需要将云数据库切换至混访模式（即同时保留经典网络和专有网络的访问地址），这样可避免迁移过程中业务中断。在进行网络类型切换时，您可指定经典网络访问地址的保留时间，过期后系统会...
云数据库Redis版网络切换
本文档介绍了如何通过控制台和API将云数据库Redis版的网络类型由经典网络切换至专有网络，同时保留经典网络的访问地址。经典网络的访问地址有保留时间限制，您可以根据需要指定保留期限。到期后，经典网络地址会自动被系统删除。前提条件 ...
基本概念
ClassicLink 专有网络VPC提供ClassicLink功能，使经典网络的云服务器ECS实例可以和专有网络中的云资源通过内网互通。网络ACL 网络ACL（Network Access Control List）是专有网络VPC中的网络访问控制功能。您可以自定义设置网络ACL规则，并...
灵骏常见问题
为什么深度学习和神经网络需要GPU？GPU与CPU的对比如下表所示。对比项 GPU CPU 算术运算单元（ALU）大量擅长处理大规模并发计算的算术运算单元（ALU）。拥有强大的算术运算单元（ALU），但数量较少。逻辑控制单元 相对简单的逻辑控制单元。...
代码示例
Github DSW Gallery 使用ModelScope Swift框架完成大语言模型的微调训练和部署。Github DSW Gallery 使用ModelScope library完成ViT图片分类模型的微调训练和部署。使用HuggingFace 打开Notebook 示例描述 Github DSW Gallery 在PAI快速...
云数据库MongoDB版网络切换
本文档介绍了如何通过控制台和API将云数据库MongoDB版的网络类型由经典网络切换至专有网络，同时保留经典网络的访问地址。经典网络的访问地址有保留时间限制，您可以根据需要指定保留期限。到期后，经典网络地址会自动被系统删除。前提条件...
默认专有网络和交换机
您可以在创建云服务器ECS（Elastic Compute Service）实例、传统型负载均衡CLB（Classic Load Balancer）实例或阿里云关系型数据库RDS（Relational Database Service）实例时选择由阿里云创建默认专有网络和交换机，无需自行创建。...
Z-Score归一化
在机器学习领域，Z-Score归一化经常用于数据处理，例如神经网络、聚类分析等应用。组件截图 二、参数说明 参数名称 参数说明 选择归一化字段 选择需要归一化的字段。可多选。三、有配置文件可读 在上游有配置文件可以选择的时候，可以使用...
新功能发布记录
管理配额 2017年07月 功能名称 变更类型 功能概述 相关链接 ClassicLink功能 新增 专有网络VPC（Virtual Private Cloud）提供ClassicLink功能，使经典网络的ECS实例可以和专有网络中的云资源通过内网互通。使用ClassicLink 2017年06月 功能...
训练加速（Pai-Megatron-Patch）概述
在Pai-Megatron-Patch中包含模型库、分词器、模型转化工具、强化学习功能、离线文本生成，以及多个使用示例和工具集，帮助用户快速部署大模型训练和推理。模型库覆盖了多个热门的大型模型，如baichuan、bloom、chatglm、falcon、galactica...
网络规划
如果您使用了经典网络，并且计划将经典网络的ECS实例和VPC网络连通，那么建议您不要选择10.0.0.0/8作为VPC的网段，因为经典网络的网段也是10.0.0.0/8。规划交换机网段 交换机的网段必须是其所属VPC网段的子集。例如VPC的网段是192.168.0.0/...
什么是专有网络
作为专有网络中重要的功能组件，它可以连接专有网络内的各个交换机，同时也是连接专有网络和其他网络的网关设备。每个专有网络创建成功后，系统会自动创建一个虚拟路由器。每个虚拟路由器至少关联一张路由表。更多信息，请参见 路由表概述...
基础设施安全
通过高速通道，可以通过一个物理专线连接多个VPC和本地数据中心，实现私有网络的互联。详细信息，请参见 什么是高速通道。VPC对等连接是一种VPC之间的网络连接方式，可以实现VPC之间的数据传输和资源共享。通过VPC对等连接，可以在不同的...
迁移方案概述
混挂 混挂指一个SLB实例可以同时添加经典网络和VPC网络的ECS作为后端服务器接收监听转发的请求，且支持虚拟服务器组形式的混挂。公网SLB实例和私网SLB实例都可开通混挂。说明 VPC私网SLB实例同时挂载经典网络和专有网络ECS时，如果使用四层...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
类目预测功能介绍
OpenSearch类目预测功能支持带行为数据的模型训练和不带行为数据的模型训练。带行为数据的模型训练，适用于已经上传行为数据，在开始训练前会自动做入口条件检查，确保数据量、数据质量、数据完整度都能达到要求，模型训练有如下步骤：说明...
AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
搭建IPv4专有网络
专有网络的地域和要部署的云资源的地域必须相同，本文选择 华北1（青岛）。在 专有网络 页面，单击 创建专有网络。在 创建专有网络 页面，根据以下信息配置专有网络和交换机，然后单击 确定。说明 本文选择分配IPv6地址。配置 说明 专有...
模型配置
待训练：当组织中正在执行的模型训练和人群预测任务数超过5个时，超出的模型将排队等待训练。训练中 训练成功：模型训练成功后，本空间的人群预测任务将默认使用该模型。训练失败：模型训练达到24小时无结果时，自动停止训练，以及发生手动...
基于抢占式实例的弹性训练
if kubeai.check_alive()=False:save_checkpoint(state.epoch)sys.exit(-1)对于以上的更改，在每个训练和评估的步骤结束后判断是否需要进行Checkpoint，并在获取到释放信号的最近一个步骤后进行Checkpoint。由于收到信号后会有5分钟的回收...
管理模型任务
本文为您介绍如何在快速开始查看与管理已创建的训练任务和部署服务。前提条件 已创建训练任务或已部署服务，具体操作，请参见 模型部署及训练。操作步骤 进入快速开始页面。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间列表...
基本概念
cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研的分布式训练任务AI加速器，可以显著提升训练性能。AIACC-Inference 阿里云自研...
模型训练
config 无 选择用于训练和评估的目标列 否 选中 是否是RTP FG模式 时，支持配置该参数。指定选择用于训练和评估的目标列。拼装成 selected_cols 参数 无 用于训练和评估的权重列 否 选中 是否是RTP FG模式 时，支持配置该参数。指定选择...
- 产品推荐
- 这些文档可能帮助您