概述
本文介绍如何基于安全增强型实例（Intel ® SGX）部署TensorFlow Serving在线推理服务的技术架构和使用流程。背景信息 TensorFlow Serving是Google开源的机器学习平台TensorFlow生态的一部分，它的功能是将训练好的模型运行起来，提供接口...
云原生AI套件开发者使用指南
（可选）步骤一：使用自定义镜像创建Jupyter Notebook AI开发控制台的Jupyter Notebook，默认提供了Tensorflow及Pytorch不同版本的镜像，若均不满足需求可考虑自定义镜像。使用以下Dockerfile模板样例，创建名为Dockerfile的文件。关于自...
PAI-TF概述
背景 TensorFlow是Google最新的开源深度学习计算框架，支持CNN、RNN及LSTM等多种神经网络模型，对语音、图像及文本等领域的模型训练效率极佳。TensorFlow的功能丰富且强大，并拥有高度灵活的API，受到业界的高度关注。PAI-TF是人工智能平台...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
使用paiio读写MaxCompute表数据
为了在 DLC 任务中方便地读写MaxCompute表数据，PAI团队开发了paiio...节点镜像：PAI官方镜像 选择TensorFlow 1.12、TensorFlow 1.15或TensorFlow 2.0版本对应的镜像。数据集配置：数据集 选择步骤1创建的数据集；挂载路径 配置为/mnt/data/...
搭建TensorFlow
本文以一个Github上基于GPU的TensorFlow训练任务为例，介绍如何基于 ACK Serverless集群，使用ECI来运行训练任务。背景信息 近些年来，人工智能与机器学习已经被广泛应用到各个领域，各种各样的训练模型被提出，更多的训练任务运行到云上。...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
TensorFlow（仅对存量用户开放）
Data Science集群内置Python 3的Tensorflow 1.15.0版本，可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业，Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本...
使用ECI运行TensorFlow任务
本文以一个Github上基于GPU的TensorFlow训练任务为例，介绍如何基于 ACK Serverless集群，使用ECI来运行训练任务。背景信息 近些年来，人工智能与机器学习已经被广泛应用到各个领域，各种各样的训练模型被提出，更多的训练任务运行到云上。...
偏好设置接口
YES：允许 NO：不允许 网络切换自动刷新 设置网络切换时是否自动刷新所有域名解析结果，如果打开此开关，在网络切换时，会自动刷新所有域名的解析结果，但会产生一定流量消耗。重要 WiFi、蜂窝、无网这三个状态的切换算网络切换。4G与3G...
使用GPU拓扑感知调度（Tensorflow版）
arena get tensorflow-topo-4-vgg16-type mpijob 预期输出：Name:tensorflow-topo-4-vgg16 Status:RUNNINGNamespace:default Priority:N/A Trainer:MPIJOB Duration:2m Instances:NAME STATUS AGE IS_CHIEF GPU(Requested)NODE-tensorflow-...
使用EAIS推理TensorFlow模型
def(graph_def,name='')with tf.Session()as sess:result=sess.run(.)如果您需要使用EAIS推理您的TensorFlow模型，请将源代码修改为如下内容：#导入tensorflow模块 import tensorflow as tf#导入eais tensorflow模块 import eais_...
PAI官方镜像
TensorFlow 框架版本 CUDA版本（仅GPU机型）操作系统 TensorFlow2.6 TensorFlow2.3 TensorFlow2.21 TensorFlow2.11 TensorFlow1.15，TensorFlow1.15.5 TensorFlow1.12 CUDA 114 CUDA 113 CUDA 112 CUDA 101 CUDA 100 Ubuntu 20.04 Ubuntu ...
在GPU实例上部署NGC环境
本文以搭建TensorFlow深度学习框架为例，为您介绍如何在GPU实例上部署NGC环境。背景信息 NGC作为一套深度学习生态系统，阿里云在镜像市场提供了针对NVIDIA Pascal GPU优化的NGC容器镜像。通过部署镜像市场的NGC容器镜像，您能简单快速地...
偏好设置接口
校正App签名时间 进行该操作后，如果有偏差，每次网络请求都会对设备进行时间校正；不进行该操作的话将以设备时间为准。重要 使用场景：有可能手机上的时间不太准确。校正操作在App的一个生命周期内生效，App重启后需要重新设置才能重新...
附录：历史版本下载与安装
v3.27.0 Python包安装命令如下：CPU Tensorflow 1.15.0与PyTorch 1.6.0。pai_blade_cpu pip3 install pai_blade_cpu=3.27.0+1.15.0.1.6.0-f ...
使用SDK部署TensorFlow模型推理
前提条件 已使用PAI-Blade对TensorFlow模型进行了优化，详情请参见 优化TensorFlow模型。已安装SDK并获取鉴权Token，详情请参见 安装Blade。因为本文使用GCC 4.8，所以需要使用pre-cxx11 ABI的SDK。本文选用3.7.0版本的RPM包。说明 经过PAI...
创建TensorFlow任务
通过ACK One Fleet实例，您可以使用和单集群相同的方式创建TensorFlow任务。由Fleet实例根据TensorFlow任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发TensorFlow任务。本文介绍如何创建TensorFlow任务并...
安装Blade
您可以安装TensorFlow社区提供的包，安装命令如下：#GPU 版本的 Tensorflow pip3 install tensorflow-gpu=1.15.0#或者：pip3 install tensorflow-gpu=2.4.0#CPU 版本的 Tensorflow pip3 install tensorflow=1.15.0#或者 pip3 install ...
SAP MaxDB 操作指南
使用 SAProuter 的唯一前提条件是从客户的网络到 SAP 网络的网络连接。在设置从阿里云上的 ECS 到 SAP 的直接支持连接时，请按照以下步骤操作：启动 SAProuter 软件将安装在其上的 ECS 实例，购买弹性 IP(EIP)资源并动态绑定到 VPC ECS ...
部署Tensorflow模型推理服务
本文介绍如何通过Arena将TensorFlow模型部署成推理服务。前提条件 已创建包含GPU的Kubernetes集群。集群节点可以访问公网。已配置Arena客户端。已完成TensorFlow单机训练。操作步骤 说明 本文采用TensorFlow 1.15训练的Bert模型部署推理...
监控集群GPU资源最佳实践
apiVersion:batch/v1 kind:Job metadata:name:tensorflow-benchmark-exclusive spec:parallelism:1 template:metadata:labels:app:tensorflow-benchmark-exclusive spec:containers:name:tensorflow-benchmark image:registry....
提交GPU共享模型推理任务
系统输出类似以下结果：2021-01-18 13:21:58.482985:I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:206]Restoring SavedModel bundle.2021-01-18 13:21:58.483673:I external/org_tensorflow/tensorflow/core/platform/...
新建实验
用户自定义镜像：可选择使用您添加到PAI的自定义的镜像，选择前，您需要先将自定义镜像添加到PAI中，操作详情请参见 自定义镜像。镜像地址：支持配置您的自定义镜像、社区镜像及PAI平台镜像地址。您需要在配置框中配置公网环境下可访问的...
使用AIACC-Training TensorFlow版
TensorFlow目前进行数据分布式训练的主流方式是Horovod，AIACC-Training 1.5支持使用Horovod API兼容的方式对TensorFlow分布式训练进行加速。本文为您介绍使用AIACC-Training TensorFlow版的具体操作及可能遇到的问题。适配Horovod API 本...
提交Tensorflow训练任务和定时任务
本文介绍如何在AI开发控制台提交一个TensorFlow训练任务和定时任务。前提条件 创建ACK Pro版集群。ACK Pro版集群已安装云原生AI套件的 开发控制台 和 调度组件，且集群Kubernetes版本不低于1.20。集群管理员在 RAM控制台 创建子账号（即RAM...
TensorFlow读写MaxCompute表
本文为您提供使用TensorFlow读写MaxCompute表的相关代码下载地址。读写MaxCompute表代码
优化TensorFlow模型
本文介绍如何使用PAI-Blade优化TensorFlow模型，所有实验结果均在NVidia T4卡上测得。前提条件 已安装TensorFlow及PAI-Blade的Wheel包，详情请参见 安装Blade。已有训练完成的TensorFlow模型，本文使用一个公开的ResNet50模型。优化...
预置Processor使用说明
1.14 TensorFlow1.14 Processor TensorFlow1.15 tensorflow_cpu_1.15 tensorflow_gpu_1.15 TensorFlow1.15 Processor（内置PAI-Blade敏捷版优化引擎）TensorFlow2.3 tensorflow_cpu_2.3 无 TensorFlow2.3 Processor PyTorch1.6 pytorch_cpu...
步骤一：部署客户端
创建客户端实例并设置网络安全组权限。运行客户端的实例需满足以下要求：实例规格：客户端无需运行在SGX环境下，您可以选择满足基本需求（推荐最小规格为2 vCPU，4 GiB）的实例运行客户端。镜像：Alibaba Cloud Linux 2或Alibaba Cloud ...
添加数据源
数据源类型 为 网络附属存储（NAS）配置重要参数，描述如下：参数 描述 数据源类型 数据源来源类型，此处选择 网络附属存储（NAS）。数据源名称 数据源名称。NAS网络地址 待同步数据的NAS的网络地址。NAS共享目录 共享相对/根目录的路径，...
添加数据源
NAS网络地址 归档NAS的网络地址。NAS管理端口 仅当 NAS类型 取值为 Isilon（PowerScale）时，需要配置该参数。用于表示归档NAS的管理端口。NAS共享目录 NAS共享的目录。仅支持中文、英文大小写，数字以及特殊符号,-_=.:\。当 NAS类型 取值...
使用EAIS推理TensorFlow模型
背景信息 本教程将引导您创建一个华东1（杭州）地域、eais.ei-a6.2xlarge规格的EAIS实例，并以公开的resnet50模型、inception模型和bert-base模型为例，带您体验基于目标检测的推理场景下，使用EAIS推理TensorFlow模型的完整操作流程。...
TensorFlow单机训练
本文展示如何使用Arena提交TensorFlow的单机训练作业，并通过TensorBoard可视化查看训练作业。前提条件 创建包含GPU的Kubernetes集群。集群节点可以访问公网。配置Arena客户端。已给集群配置了Arena使用的PVC，并且PVC已填充本文使用的数据...
TensorFlow分布式训练
本文展示如何使用Arena提交TensorFlow基于PS-Worker模式的分布式训练作业，并通过TensorBoard可视化查看训练作业。前提条件 创建包含GPU的Kubernetes集群。集群节点可以访问公网。配置Arena客户端。已给集群配置了Arena使用的PVC，并且PVC...
管理第三方库
更新第三方库 一些第三方库不支持卸载，比如 tensorflow-gpu，只能使用更新命令安装固定版本的 tensorflow-gpu，且新版本必须与CUDA版本（预付费实例的CUDA版本为10，后付费实例的CUDA版本为9）兼容。您可以使用以下命令更新已安装的第三方...
TableRecordDataset
TensorFlow社区推荐在1.2及以上版本，使用Dataset接口代替线程和队列构建数据流。通过多个Dataset接口的组合变换生成计算数据，可以简化数据输入代码。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用...
GPU节点卡型属性标签
展开查看YAML文件详细信息 apiVersion:batch/v1 kind:Job metadata:name:tensorflow-mnist spec:parallelism:1 template:metadata:labels:app:tensorflow-mnist spec:nodeSelector:aliyun.accelerator/nvidia_name:"Tesla-V100-SXM2-32GB"#...
AI加速：使用EPL实现AI训练加速
您也可以使用EPL代码示例快速开始分布式TensorFlow训练，本方案使用ResNet-50训练数据配置代码集，您可以使用该代码集提交TensorFlow训练任务，且每次进行模型训练时会自动克隆最新的版本，关于如何配置代码集，具体操作步骤如下所示。...
量化优化
PAI-Blade支持TensorFlow和PyTorch模型在GPU硬件、端侧设备的INT8量化。本文主要介绍在GPU硬件上，如何使用PAI-Blade量化优化。背景信息 量化是模型压缩常用手段之一，通过将原始的全精度32位浮点数分桶量化为位宽更小的定点整数，可以达到...
- 产品推荐
- 这些文档可能帮助您