使用EAIS推理PyTorch模型（Python）
您可以在ECS实例（非GPU实例）上绑定一个...您也可以使用EAIS体验EAIS推理TensorFlow模型的完整使用流程，帮助您快速上手EAIS，具体操作，请参见 使用EAIS推理TensorFlow模型。说明 更多EAIS实例使用方法，请参见 使用EAIS实例 或 实践教程。
使用EAIS推理PyTorch模型（C++）
您可以在ECS实例（非GPU实例）上绑定一个...您也可以使用EAIS体验EAIS推理TensorFlow模型的完整使用流程，帮助您快速上手EAIS，具体操作，请参见 使用EAIS推理TensorFlow模型。说明 更多EAIS实例使用方法，请参见 使用EAIS实例 或 实践教程。
Dynamic Shape优化案例：使用Blade优化输入为Dynamic ...
常规推理优化普遍针对输入为Static Shape的模型，如果实际推理的模型Shape发生变化，推理优化效果就可能失效。在实际生产中，输入为Dynamic Shape的模型越来越多，因此对不同输入Shape的推理过程具有强烈的优化需求。本文介绍如何使用Blade...
量化优化
PAI-Blade支持TensorFlow和PyTorch模型在GPU硬件、端侧设备的INT8量化。本文主要介绍在GPU硬件上，如何使用PAI-Blade量化优化。背景信息 量化是模型压缩常用手段之一，通过将原始的全精度32位浮点数分桶量化为位宽更小的定点整数，可以达到...
AI推理服务概述
提交GPU共享模型推理任务 Tensorflow模型推理服务 您可以通过Arena把Tensorflow模型部署成Tensorflow-serving推理服务。部署Tensorflow模型推理服务 PyTorch模型推理服务 PyTorch是一种深度学习计算框架，可用来训练模型。您可以通过Triton...
使用EAIS推理TensorFlow模型
def(graph_def,name='')with tf.Session()as sess:result=sess.run(.)如果您需要使用EAIS推理您的TensorFlow模型，请将源代码修改为如下内容：#导入tensorflow模块 import tensorflow as tf#导入eais tensorflow模块 import eais_...
使用SDK部署TensorFlow模型推理
前提条件 已使用PAI-Blade对TensorFlow模型进行了优化，详情请参见 优化TensorFlow模型。已安装SDK并获取鉴权Token，详情请参见 安装Blade。因为本文使用GCC 4.8，所以需要使用pre-cxx11 ABI的SDK。本文选用3.7.0版本的RPM包。说明 经过PAI...
优化TensorFlow模型
PAI-Blade提供了丰富的模型优化方法，您只需要在本地环境中安装Wheel包，即可通过调用Python API的方式进行模型优化。本文介绍如何使用PAI-Blade优化TensorFlow模型，所有实验结果均在NVidia T4卡上测得。前提条件 已安装TensorFlow及PAI-...
TensorFlow模型如何导出为SavedModel
本文为您介绍如何将TensorFlow模型导出为SavedModel格式。SavedModel格式 使用 EAS 预置官方Processor将TensorFlow模型部署为在线服务，必须先将模型导出为官方定义的SavedModel格式（TensorFlow官方推荐的导出模型格式）。SavedModel模型...
Tensorflow
tensorflow_cpu_2.7 Tensorflow 2.7 否 tensorflow_gpu_1.12 Tensorflow 1.12 是 tensorflow_gpu_1.14 Tensorflow 1.14 是 tensorflow_gpu_1.15 Tensorflow 1.15 是 tensorflow_gpu_2.4 Tensorflow 2.4 是 tensorflow_gpu_2.7 Tensorflow 2...
高级配置：模型服务预热
为了解决模型初次请求耗时较长的问题，EAS 提供了模型预热功能，使模型服务在上线之前得到预热，从而实现模型服务上线后即可进入正常服务状态。本文介绍如何使用模型预热功能。背景信息 通常向模型发送初次请求时，不同的Runtime会进行不同...
推理加速（Blade）概述
PAI-Blade结合了多种优化技术，对训练完成的模型进行优化，从而达到最优的推理性能。同时，PAI-Blade提供的...部署模型推理，详情请参见 使用SDK部署TensorFlow模型推理、使用SDK部署PyTorch模型推理 和 使用Blade EAS Plugin优化并部署模型。
其他子产品SDK参考文档
使用SDK部署TensorFlow模型推理 使用SDK部署PyTorch模型推理 FeatureStore SDK文档入口链接 FeatureStore Java SDK 介绍FeatureStore Java SDK的接口详情以及如何使用Java SDK获取特征数据的使用示例。FeatureStore Go SDK 介绍...
Tensorboard：训练可视化
DSW提供的Tensorboard插件是TensorFlow社区开发的深度学习可视化工具，可以从TensorFlow运行时生成的日志文件中展示丰富的可视化信息，帮助您更好地理解机器学习模型训练过程中的性能指标。功能特性 Tensorboard提供以下可视化功能：训练...
预置Processor使用说明
1.14 TensorFlow1.14 Processor TensorFlow1.15 tensorflow_cpu_1.15 tensorflow_gpu_1.15 TensorFlow1.15 Processor（内置PAI-Blade敏捷版优化引擎）TensorFlow2.3 tensorflow_cpu_2.3 无 TensorFlow2.3 Processor PyTorch1.6 pytorch_cpu...
AI编译器优化
通过Dynamic Shape模式编译TensorFlow模型 以一个开源ASR模型为例，演示如何通过Dynamic Shape模式编译TensorFlow模型：下载模型和测试数据。下载示例模型、测试数据。wget ...
PAI官方镜像
TensorFlow 框架版本 CUDA版本（仅GPU机型）操作系统 TensorFlow2.6 TensorFlow2.3 TensorFlow2.21 TensorFlow2.11 TensorFlow1.15，TensorFlow1.15.5 TensorFlow1.12 CUDA 114 CUDA 113 CUDA 112 CUDA 101 CUDA 100 Ubuntu 20.04 Ubuntu ...
绑定一个EAIS实例
一个ECS实例支持绑定的EAIS实例个数与您使用的模型有关，具体如下：TensorFlow模型：一个ECS实例只能绑定一个EAIS实例。PyTorch模型：一个ECS实例可以绑定一个或多个EAIS实例，最多支持绑定256个。说明 如果您需要绑定多个EAIS实例至一个...
Python接口文档
OptimizeSpec,OptimizeReport]:pass 输入参数 参数 类型 是否必选 描述 默认值 model 多种 是 待优化的模型，支持以下类型的模型：如果优化TensorFlow模型，支持以下格式：GraphDef对象。GraphDef PB文件路径，即以.pb 或.pbtxt 为后缀的...
概述
导入模型目前仅支持TensorFlow模型（输入为一维数组或句子），支持的输出类型为INTEGER、REAL或STRING。使用限制 仅支持在 PolarDB MySQL版 8.0.2版本的 企业版 集群中使用该功能。费用 仅收取PolarDB for AI的AI节点费用，计费详情请参见 ...
安装Blade
您可以安装TensorFlow社区提供的包，安装命令如下：#GPU 版本的 Tensorflow pip3 install tensorflow-gpu=1.15.0#或者：pip3 install tensorflow-gpu=2.4.0#CPU 版本的 Tensorflow pip3 install tensorflow=1.15.0#或者 pip3 install ...
PAI-TF任务参数介绍
PAI-TF是深度学习计算框架，支持多种模型训练。本文为您介绍PAI-TF任务涉及的命令参数和相关IO参数。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请...
使用Blade优化基于TensorFlow的BERT模型
BERT（Bidirectional Encoder Representation from Transformers）是一个预训练的语言表征模型。作为NLP领域近年来重要的突破，BERT模型在多个自然语言处理的任务中取得了最优结果。然而BERT模型存在巨大的参数规模和计算量，因此实际生产...
EmbeddingVariable
使用EmbeddingVariable进行超大规模训练，不仅可以保证模型特征无损，而且可以节约内存资源。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 ...
使用Blade EAS Plugin优化并部署模型
背景信息 目前 EAS 的TensorFlow和PyTorch Processor已经集成了Blade运行时SDK，因此如果您使用这两种Processor进行模型部署，则可以通过配置 EAS 服务配置文件的方式进行模型优化。说明 启用Blade EAS Plugin将在 EAS 服务之前对您提供的...
云原生AI套件开发者使用指南
本文以开源数据集fashion-mnist任务为例，介绍开发者如何利用云原生AI套件，在ACK集群运行深度学习任务，优化分布式训练性能，调试模型效果，并最终把模型部署到ACK集群中。背景信息 云原生AI套件包括一系列可单独部署的组件（K8s Helm ...
视频分类训练
针对原始视频数据，您可以使用视频分类训练算法组件对其进行模型训练，从而获得用于推理的视频分类模型。本文介绍视频分类训练算法组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：...
API概览
CheckRankingModelReachable 测试模型网络联通性 测试模型网络联通性。规则 API 标题 API概述 CreateRule 创建规则 创建推荐策略运营规则。ModifyRule ModifyRule 修改规则。ListRules 获取规则列表 查询规则列表。DescribeRule 获取规则...
模型分析优化
为了确保模型在正式部署前达到上线标准，您可以使用模型分析优化工具对模型进行性能压测、模型分析、模型优化等操作，对模型的性能进行分析优化。本文以PyTorch官方提供的Resnet18模型、GPU类型为V100卡为例，介绍如何使用模型分析优化工具...
使用Blade优化基于TensorFlow的ResNet50模型
本文介绍如何使用Blade优化基于TensorFlow的ResNet50模型。背景信息 残差网络ResNet（Residual Network）作为计算机视觉任务主干经典神经网络的一部分，堪称图像领域深度学习模型实战的"Hello World。ResNet使用卷积层提取图像的特征，并...
PAI-TF模型导出和部署说明
如果您希望集成线上服务、验证性能、或者将训练好的模型提供给其他系统调用，您可以将PAI-TF模型导出并部署。本文为您介绍PAI-TF模型导出和部署相关说明，包括导出SaveModel通用模型、保存和恢复检查点以及如何将TF模型部署到EAS。警告 ...
TensorFlow Serving镜像部署
TensorFlow Serving是一个适用于深度学习模型的推理服务引擎，支持将TensorFlow标准的SavedModel格式的模型部署为在线服务，并支持模型热更新与模型版本管理等功能。本文为您介绍如何使用镜像部署的方式部署TensorFlow Serving模型服务。...
基本概念
PAI支持以下两类Processor：预置Processor：针对常用的PMML、TensorFlow等模型，EAS提供了预置的Processor。自定义Processor：如果EAS提供的预置Processor无法满足模型部署需求，您可以根据Processor的开发标准自定义Processor。模型服务...
使用EAS Python SDK部署模型
本文为您介绍如何使用阿里云模型在线服务（EAS）的Python SDK代码将训练获得的模型部署为EAS在线服务，再使用EAS的预测SDK代码调用EAS服务，实现模型在线推理。背景信息 本文旨在介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用...
步骤二：部署vSGX端
本实践配置如下：sgx.protected_files.model="file:models/resnet50-v15-fp32/1/saved_model.pb"用户侧生成的加密模型文件和TLS配置文件后，通过网络传输放到TensorFlow_Serving目录下。sgx_default_qcnl.conf：配置阿里云PCCS访问地址 tf_...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
使用EAIS推理TensorFlow模型
背景信息 本教程将引导您创建一个华东1（杭州）地域、eais.ei-a6.2xlarge规格的EAIS实例，并以公开的resnet50模型、inception模型和bert-base模型为例，带您体验基于目标检测的推理场景下，使用EAIS推理TensorFlow模型的完整操作流程。...
AI加速使用案例汇总
BERT模型优化案例：使用Blade优化基于TensorFlow的BERT模型 介绍如何使用Blade优化通过TensorFlow训练的BERT模型。ResNet50优化案例：使用Blade优化基于TensorFlow的ResNet50模型 介绍如何使用Blade优化基于TensorFlow的ResNet50模型。...
用户自定义模型使用案例
使用的模型为TensorFlow平台训练的一个逻辑回归预测模型，将模型保存为TensorFlow的二进制文件并上传至oss bucket。具体的训练过程本案例参考 https://www.tensorflow.org/guide/core/logistic_regression_core使用自定义模型进行预测...
一键诊断
您可以使用 PAI灵骏智算服务 提供的一键诊断功能，检查灵骏节点的网络和硬件状态，基于多种通信库和通信模型进行网络测试。本文为您介绍灵骏的一键诊断功能。自助诊断 网络诊断 网络诊断功能分为 静态配置类检查 和 动态运行类检查，支持...
- 产品推荐
- 这些文档可能帮助您