应用场景
推荐搭配使用：云服务器 ECS／GPU 服务器 EGS／高性能计算服务（Alibaba Cloud HPC）+容器服务+对象存储 OSS／文件存储 NAS／CPFS 相关文档：PyTorch分布式训练 TensorFlow分布式训练 微服务架构 实现敏捷开发和部署落地，加速企业业务迭代...
步骤一：部署客户端
source venv/bin/activate cd${CC_DIR}/Tensorflow_Serving/client./download_model.sh 下载训练好的模型文件将会存放在创建的models/resnet50-v15-fp32目录下。模型格式转换。为了兼容TensorFlow Serving，需要对训练好的模型文件进行格式...
提交训练作业
PAI Python SDK提供了更易用的API（即HighLevel API），支持您将训练作业提交到PAI，并使用云上资源运行训练作业。本文为您介绍如何准备训练作业脚本并使用SDK提交训练作业。计费说明 在提交训练作业时，会调用DLC计算资源执行任务，由此会...
基于ECI的弹性推理
模型训练完成后，通常会被部署成推理服务。推理服务的调用量会随着业务需求动态变化，这就需要服务器能弹性扩缩容来节省成本。在大规模高并发的节点需求情况下，常规的部署方案无法满足此类需求。阿里云提供了基于弹性容器实例ECI（Elastic...
ResNet50优化案例：使用Blade优化基于TensorFlow的...
ResNet使用卷积层提取图像的特征，并通过引入残差块结构，解决了深层神经网络训练时的梯度消失和梯度爆炸问题，大幅提升了深度神经网络的训练效果。ResNet典型的网络有ResNet26、ResNet50及ResNet101等。使用限制 本文使用的环境需要满足...
创建GPU实例
网络类型 说明 相关文档 专有网络 专有网络是您在阿里云自己定义的一个隔离网络环境，您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等。如果在创建实例时不需要自定义专有网络配置，您可以跳过本步骤，系统会自动...
EmbeddingVariable
使用EmbeddingVariable进行超大规模训练，不仅可以保证模型特征无损，而且可以节约内存资源。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 ...
产品优势
阿里云GPU云服务器具有广阔的覆盖范围、超强的计算能力、出色的网络性能和灵活的购买方式，神行工具包（DeepGPU）是专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集。本文主要介绍GPU云服务器和神行工具包（DeepGPU）的优势。...
灵骏智算资源组使用指南
灵骏智算资源为您提供高性能AI训练、高性能计算所需的异构计算算力服务，用于提交DLC训练任务或创建DSW实例。本文为您介绍PAI灵骏智算服务从开通到使用的最佳实践。前提条件 已开通 PAI（DLC、DSW）后付费，详情请参见 开通并创建默认工作...
概述
背景信息 TensorFlow Serving是Google开源的机器学习平台TensorFlow生态的一部分，它的功能是将训练好的模型运行起来，提供接口给其他服务调用，以便使用模型进行推理预测。阿里云ECS部分安全增强型实例基于Intel ® SGX（Software Guard ...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
TensorFlow常见问题
本文为您介绍TensorFlow的相关问题。如何开通深度学习功能？如何支持多Python文件引用？如何上传数据到OSS？如何读取OSS数据？如何为OSS写入数据？为什么运行过程中出现OOM？TensorFlow有哪些案例？如何查看TensorFlow相关日志？配置两个...
PAI视频分类
PAI平台提供视频分类相关算法，支持千万级别超大规模的视频样本训练。本文为您介绍如何基于短视频数据生成视频分类模型。数据说明 视频分类相关算法支持.avi 及.mp4 等常见视频格式的原始数据，本文进行视频分类模型训练的数据分别为 ...
PAI-TF数据转换方法
为了满足模型训练对数据格式的要求，确保数据能够以最适合的方式输入给模型，从而提升模型训练效果和整体训练效率，需要将原始数据转换为适合模型训练的格式。本文为您介绍PAI-TF数据转换方法。警告 公共云GPU服务器即将过保下线，您可以...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
产品架构
如上图所示，PAI的业务架构分为以下四层：基础资源层（计算资源&基础设施）：基础设施包括CPU、GPU、高速RDMA网络以及容器服务ACK等。计算资源包括云原生资源（灵骏计算资源和通用计算资源）和大数据引擎资源（MaxCompute和Flink）。平台...
创建训练任务
说明 当资源配额选择灵骏智算资源时，为了充分利用灵骏智算资源的高性能RDMA网络，当使用自定义镜像时，需手动安装RDMA，操作详情请参见 RDMA：使用高性能网络进行分布式训练。镜像地址：支持配置您的自定义镜像、社区镜像以及PAI平台镜像...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
模型仓库（FastNN）
PAI模型仓库FastNN（Fast Neural Networks）是一个基于PAISoar的分布式神经网络仓库。目前FastNN已经支持了Inception、Resnet、VGG等经典算法，后续会逐步开放更多的先进模型。目前FastNN已经内置于 Designer 平台中，并且可以直接在该平台...
OSS存储读写分离最佳实践
kubectl logs pod tf-mnist|grep dataload 预期输出：dataload cost time:1.54191803932 实际查询的时间与实例的性能和网络状态相关。登录 OSS管理控制台。查看OSS Bucket的/tf-train/trainning_logs 目录中已出现相关文件，表明数据可以...
命令行使用说明
vpc,-vpc,-vpc_name：指定私有网络名称。cuda,-install_cuda,-cuda_install：自动化安装CUDA。创建一个Ubuntu系统的实例，并指定实例名称和规格，同时自动安装CUDA：fastgpu create-name fastgpu_vm-np 1-instance_type ecs.gn6v-c8g1.16...
管理集群
网络管理 Service管理 Ingress管理 服务发现DNS 组件管理 管理组件 应用管理 工作负载 应用调度 配置管理 安全管理 安全 可观测性 日志管理 监控管理 调度 任务调度：任务调度概述 使用Gang scheduling 使用Capacity Scheduling 共享GPU...
使用EAIS推理PyTorch模型（Python）
您可以在ECS实例（非GPU实例）上绑定一个...您也可以使用EAIS体验EAIS推理TensorFlow模型的完整使用流程，帮助您快速上手EAIS，具体操作，请参见 使用EAIS推理TensorFlow模型。说明 更多EAIS实例使用方法，请参见 使用EAIS实例 或 实践教程。
使用EAIS推理PyTorch模型（C++）
您可以在ECS实例（非GPU实例）上绑定一个...您也可以使用EAIS体验EAIS推理TensorFlow模型的完整使用流程，帮助您快速上手EAIS，具体操作，请参见 使用EAIS推理TensorFlow模型。说明 更多EAIS实例使用方法，请参见 使用EAIS实例 或 实践教程。
什么是人工智能平台PAI
业内领先的AI优化：高性能的训练框架，稀疏训练场景，支持数十亿到数百亿的稀疏特征规模，数百 亿到数千亿的样本规模，上千worker的分布式增量训练。主流框架模型加速，使用PAI Blade提升RestNet50、Transformer+LM等十数个主流模型加速比...
Designer概述
同时，Designer中内置了丰富且成熟的机器学习算法，覆盖商品推荐、金融风控及广告预测等场景，支持基于MaxCompute、通用训练资源、Flink等计算资源进行大规模分布式运算，可以快速满足不同方向的业务需求。Designer&PAIFlow产品架构 ...
2022年
2022-03-31 华北2（北京）华东1（杭州）华东2（上海）通用大模型平台 PAI-Blade新增支持TensorFlow2.7版本 PAI-Blade新增支持TensorFlow2.7版本，您可以自主选择TensorFlow版本。2022-03-27 全部地域 无 EAS 新增定时伸缩功能，支持GRPC或...
云原生AI套件概述
GPU调度概述 AI负载调度 弹性AI任务 弹性调度分布式深度学习训练任务：训练过程中，支持动态伸缩子任务Worker实例数量和节点数量，同时基本维持整体训练进度和模型精度。在集群资源空闲时，支持增加更多Worker加速训练；在资源紧张时，释放...
启动方式与环境变量说明
AIACC-Training提供了统一的启动命令来启动分布式训练，配合环境变量可调节AIACC-Training的性能，为您带来更好的训练体验和更高的训练效率。本文为您介绍AIACC-Training的启动命令和环境变量。分布式启动方式说明 为了更好地使用AIACC-...
GPU拓扑感知调度概述
GPU拓扑分布 下图为NVLink连接8个Tesla V100的混合立体网络拓扑。每块V100 GPU有6个NVLink通道，8块GPU间无法做到全连接，2块GPU间最多只能有2条NVLink连接。其中GPU0和GPU3，GPU0和GPU4之间有2条NVLink连接，GPU0和GPU1之间有一条NVLink...
什么是AI通信加速库Deepnccl
Deepnccl是为阿里云神龙异构产品开发的一种用于多GPU互联的AI通信加速库，在AI分布式训练或多卡推理任务中用于提升通信效率。本文主要介绍Deepnccl的架构、优化原理和性能说明。产品简介 Deepnccl基于NCCL（NVIDIA Collective ...
新建资源组并购买灵骏智算资源
支持的任务类型 当前灵骏智算资源仅支持TensorFlow、PyTorch、ElasticBatch和MPIJob类型的训练任务。操作账号和权限要求 阿里云主账号（推荐）：使用该账号可完成所有操作，无需额外授权。RAM用户：需要授予 AliyunPAIFullAccess 权限，...
创建自定义组件
训练约束 训练约束用于定义训练任务需要的计算资源，您可以打开 训练约束开关 进行配置。训练约束配置转换为Designer组件界面化参数执行调优配置：具体参数说明如下：参数 描述 机器类型 配置自定义组件支持CPU或GPU机器。支持多机 组件...
服务部署：控制台
EAS 支持将从开源社区下载的模型或您自己训练获得的模型部署为推理服务或AI-Web应用。针对不同方式获取的训练模型，EAS 支持不同的部署方式。此外，EAS还提供了一系列针对特定场景的部署方式，您可以通过控制台快速将其部署为API服务。本文...
配置NAS共享存储
背景信息 为了保护数据科学家的工作内容和方便读取共享的训练数据，建议您在Arena提交作业的运行环境中配置共享存储卷并挂载。确保数据科学家的工作内容（代码、数据）得以保留，不会随着容器删除而丢失。在团队开发中，建议分配一个共享的...
部署PyTorch模型推理服务
PyTorch是一种深度学习计算框架，可用来训练模型。本文介绍如何通过Triton或TorchServe方式部署PyTorch模型的推理服务。前提条件 已创建包含GPU的Kubernetes集群。具体操作，请参见 创建包含GPU的Kubernetes集群。Kubernetes集群可以访问...
创建DSW实例
您可以直接选择已经创建的专有网络进行挂载，或者单击 专有网络 后的 创建专有网络 进行创建。公网访问网关 支持以下配置方法：公有网关：集群中的DSW实例使用共享的公网带宽，在用户高并发时下载速度会比较慢。专有网关：独享带宽，您可以...
注册集群概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
FeatureStore概述
搜索引擎排序场景：该场景下的特征数据包括关键词匹配度、点击率、销售量等，通过使用FeatureStore训练排序模型，对 ES/OpenSearch 等搜索引擎召回结果，用召回结果请求EAS中tensorflow模型的打分服务，根据用户的搜索意图和个人喜好，为其...
EAS模型服务概述
高速直连 EAS 提供高速直连的网络访问方式，EAS资源组和您的VPC网络连通后，您可以使用高速直连功能。后续无需通过网关，客户端可直接访问模型服务，可以大幅度提高访问性能、降低访问延时。地域限制 EAS 支持的地域包括华北2（北京）、...
- 产品推荐
- 这些文档可能帮助您