创建及管理数据集加速槽
在使用数据集加速器（DatasetAccelerator）进行训练数据加速前，您需要创建数据集加速槽来绑定数据源的存储地址。系统会根据数据源类型、数据大小、训练的框架以及模型等因素，对关联的数据集数据进行预处理，以提高对数据集数据的访问速度...
办公网络概述
办公网络 的作用 每台云电脑都必须处于一个 办公网络 内，该 办公网络 决定了其所含云电脑以下各方面的行为和属性：IPv4网段 在 办公网络 中创建云电脑时，系统将自动从 办公网络 VPC包含的网段中分配一个IP地址作为云电脑的IP地址。...
商米：DevOps转型实现精益开发与自动化运维
工程能力建设作用于协作方式的转变 由于开发和运维在工作流程上割裂的原因，在团队协作看板上，也是割裂的，彼此完全基于不同的单元在组织工作。两周的迭代，第一周，需要主要集中在团队开发看板上，第二周，发布请求主要集中在运维发布...
网络域是什么
网络域的作用 如果用户部署了DAS集中模式的DBGateway，需要选择一个网络域，标识用户的实例来源。在同一个网络域下的集中DBGateway是有负载均衡和容灾的作用。如果用户在两个不相通的网络环境使用相同的网络域，会导致这两个不相通的...
Word2Vec
Word2Vec算法组件利用神经网络，通过训练，将词映射为K维度空间向量，且支持对表示词的向量进行操作并和语义相对应。输入为单词列或词汇表，输出为词向量表和词汇表。使用说明 Word2Vec组件的上游需要接入 词频统计 组件。说明 词频统计的...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
基础设施安全
可用区间故障隔离 可用区是指在同一地域内，电力和网络互相独立的物理区域。在同一地域内，可用区与可用区之间内网互通。各可用区之间可以实现故障隔离，即如果一个可用区出现故障，不会影响其他可用区的正常运行。每个地域完全独立，不同...
Designer概述
Designer 支持工作空间内的工作流协作共享，同时支持将运行成功的工作流 部署至DataWorks做周期性调度 或者发布为 自定义模板。在Designer工作流中开发测试完成的模型支持注册至模型管理，一键部署模型服务或打包成复合模型进行部署，详情...
标注模板说明
iTAG官方模板提供了多种RLHF模板，如多模态RLHF标注、对话排序、对话改写、图生文模板，您可以基于系统提供的这些模板修改为符合自己业务需求的模板，然后再创建对应的标注任务并进行处理，从而提高您的模型训练效果。进入智能标注 iTAG-...
监控与报警
资源范围 报警规则的作用范围，目前支持全部资源、实例（作业）：全部资源：DLC 的任何资源满足报警规则，都会发送报警通知。实例：您需要选择 关联资源（即DLC任务ID），仅选中的单个或多个DLC作业满足报警规则时，才发送报警通知。规则...
网络智能服务如何与RAM协同工作
NIS 涉及的服务关联角色如下：服务关联角色 作用 AliyunServiceRoleForNis 帮助网络智能服务拥有访问ECS实例的相关资源的权限。多数情况下，在您使用特定功能时，关联的云服务会在您的授权下自动创建或删除服务关联角色，不需要您主动创建...
VPC操作合规
VPC流日志配置异常变更告警 VPC通用配置变更告警 VPC网络路由变更告警 告警ID sls_app_audit_cis_at_vpc_route_change 告警名称 VPC网络路由变更告警 版本号 1 类别 云平台、阿里云、CIS、VPC操作合规 作用 监控VPC网络路由的变更行为。...
弹性网卡概述
弹性网卡（Elastic Network Interfaces，简称ENI）是一种在专有网络VPC中为ECS实例提供网络接口和IP地址的虚拟网络接口。每台ECS实例可以附加一个或多个弹性网卡。辅助弹性网卡可以在不同ECS实例之间进行解绑和绑定操作，这使得网络配置...
应用场景
超大规模GPU算力系统，全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、Xgboost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同...
灵骏智算资源配额
阿里云PAI为您提供灵骏智算资源，可用于AI开发和训练，如果您希望进行高性能AI训练、高性能计算，可以通过配置资源配额来使用灵骏智算资源。本文为您介绍如何新增、管理以及使用资源配额。前提条件 已创建灵骏智算资源专有资源组并购买了...
网络资源
在分布式系统中，网络资源的主要作用是支持节点之间的通信和数据传输。网络资源需要支持安全的数据传输和通信协议，以保护分布式系统的敏感数据和通信内容的机密性和完整性。网络资源还需要提供高带宽、低延迟和稳定的网络连接，以确保节点...
PAI灵骏智算服务概述
您只需为AI训练所消耗的资源付费，无需建设、调优和运维复杂的计算节点、存储及RDMA网络，即可使用高扩展性、高性能、高性价比的智能计算基础设施环境。产品架构 PAI灵骏 是软硬件一体化设计的算力集群服务，硬件涵盖了服务器、网络、存储...
创建训练任务
说明 当资源配额选择灵骏智算资源时，为了充分利用灵骏智算资源的高性能RDMA网络，当使用自定义镜像时，需手动安装RDMA，操作详情请参见 RDMA：使用高性能网络进行分布式训练。镜像地址：支持配置您的自定义镜像、社区镜像以及PAI平台镜像...
性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
基于eGPU优化套件的ResNet50模型训练和推理
本文以卷积神经网络模型ResNet50的训练和推理为例，为您介绍如何通过Docker或Kubernetes使用eGPU优化套件，进行GPU容器虚拟化和资源共享。本实践中的ResNet50模型基于NVIDIA官方开源代码DeepLearningExamples实现。步骤一：准备模型和数据...
数据集加速器概述
通过感知深度学习训练的模型类型、网络结构，对图片、文本、视频等数据进行预先打包和处理，提升海量小文件训练场景的性能。全托管，开箱即用。云上全托管服务，操作简单，开通即可使用。弹性可伸缩。依托于云上IaaS（Infrastructure-as-a-...
网络ACL概述
网络ACL（Network Access Control List）是专有网络VPC中的网络访问控制功能。您可以自定义设置网络ACL规则，并将网络ACL与交换机绑定，实现对交换机中云服务器ECS实例流量的访问控制。功能发布及地域支持情况 公有云支持的地域 区域 支持...
创建应用接入点
作用域 如果您创建网络规则时，网络类型 选择 Private，则此处选择指定的KMS实例，网络类型 选择 Public 或 VPC，则此处选择 KMS共享网关。RBAC权限 作用域 选择指定的KMS实例：CryptoServiceKeyUser：允许使用KMS实例中的密钥。支持实例...
管理应用接入点
作用域 如果您创建网络规则时，网络类型 选择 Private，则此处选择指定的KMS实例，网络类型 选择 Public 或 VPC，则此处选择 KMS共享网关。RBAC权限 作用域 选择指定的KMS实例：CryptoServiceKeyUser：允许使用KMS实例中的密钥。支持实例...
Kohya使用方法与实践案例
LoRA network weights LoRA网络权重，如果要接着训练则选用最后训练的LoRA 选填。Train batch size 训练批量大小 根据显卡性能，12 GB显存最大为2，8 GB显存最大为1。Epoch 训练轮数——将所有数据训练一次为一轮 自行计算。一般：Kohya中...
API 概览
使用说明 项目协作 API 支持 HTTP 或者 HTTPS 网络请求协议，可以通过以下方式调用 API，调用示例请参见 快速入门。项目 API API 描述 创建项目 创建项目 获取项目信息 查看项目 删除企业内项目 删除项目 更新项目 更新项目 项目中添加成员...
5分钟使用EAS一键部署Kohya SD模型微调应用
LoRA network weights LoRA网络权重，如果要接着训练则选用最后训练的LoRA。选填。Train batch size 训练批量大小。该值越大，对显存的要求越高。Epoch 训练轮数，将所有数据训练一次为一轮。需要自行计算。一般情况下：Kohya中总训练次数=...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容...
RDMA：使用高性能网络进行分布式训练
自定义镜像 基于灵骏智算类型的资源提交训练任务时，您也可以自行构建并使用自定义镜像，注意事项如下：环境要求 CUDA>=11.2 NCCL>=2.12.10 Python3 安装RDMA库 灵骏智算资源为您提供高性能的RDMA网络，当您用自定义镜像时，需在自定义镜像...
配置 MPC 项目
因此，需要保证项目中训练节点和预测节点的网络互通。测试环境 选择一个节点作为测试环境的隐私计算节点，节点来源于 节点管理 模块中，在测试环境使用预测引擎的节点。生产环境 选择一个节点作为生产环境的隐私计算节点，节点来源于 节点...
功能特性
同时，通过大规模RDMA网络部署实践，阿里云自主研发了基于端网协同的RDMA高性能网络协议和HPCC拥塞控制算法，并通过智能网卡实现了协议硬件卸载，降低了端到端网络延时，提升了网络IO吞吐能力，并有效规避和弱化了网络故障、网络黑洞等传统...
通用环境变量列表
提交DLC训练任务时，PAI会自动注入多个通用环境变量，便于您在代码中直接使用。本文为您介绍DLC系统中默认提供的环境变量列表。公共环境变量 基于灵骏智算的环境变量，关于环境变量的说明，请参见 配置高性能网络变量。PyTorch环境变量 在...
人工神经网络
人工神经网络有多层和单层之分，每一层包含若干神经元，各神经元之间用带可变权重的有向弧连接，网络通过对已知信息的反复学习训练，通过逐步调整改变神经元连接权重的方法，达到处理信息、模拟输入输出之间关系的目的。计算逻辑原理 依据...
视频分类训练
针对原始视频数据，您可以使用视频分类训练算法组件对其进行模型训练，从而获得用于推理的视频分类模型。本文介绍视频分类训练算法组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：...
GPU计算型
存储：I/O优化实例 仅支持ESSD云盘和ESSD AutoPL云盘 网络：支持IPv6 实例网络性能与计算规格对应（规格越高网络性能越强）适用场景：中小规模的AI训练业务 使用CUDA进行加速的HPC业务 对GPU处理能力或显存容量需求较高的AI推理业务 深度...
安装ACCL库
背景信息 ACCL面向阿里云 灵骏 架构设计，通过算法与拓扑的深入协同来收获更好的通信性能，充分挖掘高性能RoCE网络的带宽效率，最大化分布式训练系统的可扩展性。ACCL提供了简单易用的C++ API，语义与MPI等主流集合操作接口相近。ACCL提供...
安全组概述
在专有网络VPC下，安全组仅能在所属的VPC下使用，在创建VPC网络下的ECS实例时，您指定的虚拟交换机和安全组，必须属于同一个VPC。组内互通和授权安全组访问，是安全组提供的两项重要特性。组内互通，是指安全组内的ECS实例内网互通。授权...
弹性裸金属服务器概述
弹性裸金属服务器适合上云部署传统非虚拟化场景的应用，通过与阿里云产品家族中的其他产品（例如存储、网络、数据库等）无缝对接，可以更多元化地结合您的业务场景进行资源构建。本文介绍云服务器ECS弹性裸金属服务器实例规格族的优势和...
专有网络和交换机概述
本文为您介绍专有网络、交换机、路由器的概念和作用以及IPv4和IPv6网段的功能和差异。专有网络和交换机 专有网络是您独有的云上虚拟网络，您可以将云资源部署在您自定义的专有网络的交换机（子网）中。交换机（vSwitch）是组成专有网络的...
部署及微调Qwen-72B-Chat模型
通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型，它的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手...
- 产品推荐
- 这些文档可能帮助您