在GPU实例上部署NGC环境
NGC网站 提供了目前主流深度学习框架不同版本的镜像（例如Caffe、Caffe2、CNTK、MxNet、TensorFlow、Theano、Torch），您可以选择需要的镜像部署环境。操作步骤 支持部署NGC环境的实例规格族包括：gn5i、gn6v、gn6i、gn6e、gn7i、gn7e、gn...
在文件存储 HDFS 版上使用TensorFlow
本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作，请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作，请参见 快速入门。已为Hadoop集群...
Tensorflow
tensorflow_cpu_2.7 Tensorflow 2.7 否 tensorflow_gpu_1.12 Tensorflow 1.12 是 tensorflow_gpu_1.14 Tensorflow 1.14 是 tensorflow_gpu_1.15 Tensorflow 1.15 是 tensorflow_gpu_2.4 Tensorflow 2.4 是 tensorflow_gpu_2.7 Tensorflow 2...
TensorFlow（仅对存量用户开放）
Data Science集群内置Python 3的Tensorflow 1.15.0版本，可以直接使用。其中Master节点只支持购买CPU资源计算TensorFlow作业，Core节点支持购买CPU或GPU资源计算TensorFlow作业。本文主要介绍如何查看TensorFlow的版本、切换TensorFlow版本...
使用GPU拓扑感知调度（Tensorflow版）
arena get tensorflow-topo-4-vgg16-type mpijob 预期输出：Name:tensorflow-topo-4-vgg16 Status:RUNNINGNamespace:default Priority:N/A Trainer:MPIJOB Duration:2m Instances:NAME STATUS AGE IS_CHIEF GPU(Requested)NODE-tensorflow-...
使用EAIS推理TensorFlow模型
def(graph_def,name='')with tf.Session()as sess:result=sess.run(.)如果您需要使用EAIS推理您的TensorFlow模型，请将源代码修改为如下内容：#导入tensorflow模块 import tensorflow as tf#导入eais tensorflow模块 import eais_...
附录：历史版本下载与安装
v3.27.0 Python包安装命令如下：CPU Tensorflow 1.15.0与PyTorch 1.6.0。pai_blade_cpu pip3 install pai_blade_cpu=3.27.0+1.15.0.1.6.0-f ...
步骤二：部署vSGX端
主要包括：Makefile：Gramine编译TensorFlow Serving tensorflow_model_server.manifest.template：Gramine配置TensorFlow Serving模板 tensorflow_model_server.manifest.attestation.template中几项配置说明：Gramine支持SGX RA-TLS远程...
部署Tensorflow模型推理服务
本文介绍如何通过Arena将TensorFlow模型部署成推理服务。前提条件 已创建包含GPU的Kubernetes集群。集群节点可以访问公网。已配置Arena客户端。已完成TensorFlow单机训练。操作步骤 说明 本文采用TensorFlow 1.15训练的Bert模型部署推理...
使用SDK部署TensorFlow模型推理
前提条件 已使用PAI-Blade对TensorFlow模型进行了优化，详情请参见 优化TensorFlow模型。已安装SDK并获取鉴权Token，详情请参见 安装Blade。因为本文使用GCC 4.8，所以需要使用pre-cxx11 ABI的SDK。本文选用3.7.0版本的RPM包。说明 经过PAI...
创建TensorFlow任务
通过ACK One Fleet实例，您可以使用和单集群相同的方式创建TensorFlow任务。由Fleet实例根据TensorFlow任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发TensorFlow任务。本文介绍如何创建TensorFlow任务并...
搭建TensorFlow
本文以一个Github上基于GPU的TensorFlow训练任务为例，介绍如何基于 ACK Serverless集群，使用ECI来运行训练任务。背景信息 近些年来，人工智能与机器学习已经被广泛应用到各个领域，各种各样的训练模型被提出，更多的训练任务运行到云上。...
概述
本文介绍如何基于安全增强型实例（Intel ® SGX）部署TensorFlow Serving在线推理服务的技术架构和使用流程。背景信息 TensorFlow Serving是Google开源的机器学习平台TensorFlow生态的一部分，它的功能是将训练好的模型运行起来，提供接口...
使用ECI运行TensorFlow任务
本文以一个Github上基于GPU的TensorFlow训练任务为例，介绍如何基于 ACK Serverless集群，使用ECI来运行训练任务。背景信息 近些年来，人工智能与机器学习已经被广泛应用到各个领域，各种各样的训练模型被提出，更多的训练任务运行到云上。...
提交命令
提交任务的通用参数 使用DLC命令行提交TensorFlow（tfjob），PyTorch（pytorchjob），XGBoost（xgboostjob）任务时，存在通用的参数。通用参数列表如下 表 1.提交任务的通用参数 参数 是否必选 描述 类型 任务参数描述文件中是否支持该参数...
准备工作
提交分布式训练任务时支持选择的公共镜像列表如下：类型 框架 镜像 社区镜像 TensorFlow tensorflow-training:2.3-cpu-py36-ubuntu18.04 tensorflow-training:2.3-gpu-py36-cu101-ubuntu18.04 tensorflow-training:1.15-cpu-py36-ubuntu18....
TensorFlow常见问题
本文为您介绍TensorFlow的相关问题。如何开通深度学习功能？如何支持多Python文件引用？如何上传数据到OSS？如何读取OSS数据？如何为OSS写入数据？为什么运行过程中出现OOM？TensorFlow有哪些案例？如何查看TensorFlow相关日志？配置两个...
监控集群GPU资源最佳实践
apiVersion:batch/v1 kind:Job metadata:name:tensorflow-benchmark-exclusive spec:parallelism:1 template:metadata:labels:app:tensorflow-benchmark-exclusive spec:containers:name:tensorflow-benchmark image:registry....
提交GPU共享模型推理任务
系统输出类似以下结果：2021-01-18 13:21:58.482985:I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:206]Restoring SavedModel bundle.2021-01-18 13:21:58.483673:I external/org_tensorflow/tensorflow/core/platform/...
使用AIACC-Training TensorFlow版
TensorFlow目前进行数据分布式训练的主流方式是Horovod，AIACC-Training 1.5支持使用Horovod API兼容的方式对TensorFlow分布式训练进行加速。本文为您介绍使用AIACC-Training TensorFlow版的具体操作及可能遇到的问题。适配Horovod API 本...
PAI官方镜像
TensorFlow 框架版本 CUDA版本（仅GPU机型）操作系统 TensorFlow2.6 TensorFlow2.3 TensorFlow2.21 TensorFlow2.11 TensorFlow1.15，TensorFlow1.15.5 TensorFlow1.12 CUDA 114 CUDA 113 CUDA 112 CUDA 101 CUDA 100 Ubuntu 20.04 Ubuntu ...
提交Tensorflow训练任务和定时任务
本文介绍如何在AI开发控制台提交一个TensorFlow训练任务和定时任务。前提条件 创建ACK Pro版集群。ACK Pro版集群已安装云原生AI套件的 开发控制台 和 调度组件，且集群Kubernetes版本不低于1.20。集群管理员在 RAM控制台 创建子账号（即RAM...
TensorFlow读写MaxCompute表
本文为您提供使用TensorFlow读写MaxCompute表的相关代码下载地址。读写MaxCompute表代码
优化TensorFlow模型
本文介绍如何使用PAI-Blade优化TensorFlow模型，所有实验结果均在NVidia T4卡上测得。前提条件 已安装TensorFlow及PAI-Blade的Wheel包，详情请参见 安装Blade。已有训练完成的TensorFlow模型，本文使用一个公开的ResNet50模型。优化...
TensorFlow分布式训练
本文展示如何使用Arena提交TensorFlow基于PS-Worker模式的分布式训练作业，并通过TensorBoard可视化查看训练作业。前提条件 创建包含GPU的Kubernetes集群。集群节点可以访问公网。配置Arena客户端。已给集群配置了Arena使用的PVC，并且PVC...
TensorFlow单机训练
本文展示如何使用Arena提交TensorFlow的单机训练作业，并通过TensorBoard可视化查看训练作业。前提条件 创建包含GPU的Kubernetes集群。集群节点可以访问公网。配置Arena客户端。已给集群配置了Arena使用的PVC，并且PVC已填充本文使用的数据...
预置Processor使用说明
1.14 TensorFlow1.14 Processor TensorFlow1.15 tensorflow_cpu_1.15 tensorflow_gpu_1.15 TensorFlow1.15 Processor（内置PAI-Blade敏捷版优化引擎）TensorFlow2.3 tensorflow_cpu_2.3 无 TensorFlow2.3 Processor PyTorch1.6 pytorch_cpu...
使用EAIS推理TensorFlow模型
背景信息 本教程将引导您创建一个华东1（杭州）地域、eais.ei-a6.2xlarge规格的EAIS实例，并以公开的resnet50模型、inception模型和bert-base模型为例，带您体验基于目标检测的推理场景下，使用EAIS推理TensorFlow模型的完整操作流程。...
TensorFlow模型如何导出为SavedModel
本文为您介绍如何将TensorFlow模型导出为SavedModel格式。SavedModel格式 使用 EAS 预置官方Processor将TensorFlow模型部署为在线服务，必须先将模型导出为官方定义的SavedModel格式（TensorFlow官方推荐的导出模型格式）。SavedModel模型...
PAI-TF概述
PAI-TF是人工智能平台PAI为了追求更极致的深度学习训练效率，优化原生Tensorflow的内核并开发周边工具，推出的一款产品。PAI-TF拥有服务化、分布式调度、全局计算调度、GPU卡映射及模型在线预测等特点。警告 公共云GPU服务器即将过保下线，...
管理第三方库
更新第三方库 一些第三方库不支持卸载，比如 tensorflow-gpu，只能使用更新命令安装固定版本的 tensorflow-gpu，且新版本必须与CUDA版本（预付费实例的CUDA版本为10，后付费实例的CUDA版本为9）兼容。您可以使用以下命令更新已安装的第三方...
GPU节点卡型属性标签
展开查看YAML文件详细信息 apiVersion:batch/v1 kind:Job metadata:name:tensorflow-mnist spec:parallelism:1 template:metadata:labels:app:tensorflow-mnist spec:nodeSelector:aliyun.accelerator/nvidia_name:"Tesla-V100-SXM2-32GB"#...
云原生AI套件开发者使用指南
usr/bin/python#-*-coding:UTF-8-*-import os import gzip import numpy as np import tensorflow as tf from tensorflow import keras print('TensorFlow version:{}'.format(tf._version_))dataset_path="/root/data/"model_path="./...
基于ECI的弹性推理
arena serve tensorflow \-namespace=default \-name=bert-tfserving \-model-name=chnsenticorp \-gpus=1 \-image=tensorflow/serving:1.15.0-gpu \-data=model-pvc:/data \-model-path=data/models/tensorflow/chnsenticorp \-version-...
PAI-TF数据IO方式介绍
PAI-TensorFlow支持读取OSS对象存储数据和MaxCompute表数据。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。读取OSS数据 主流程 ...
AI加速：使用EPL实现AI训练加速
您也可以使用EPL代码示例快速开始分布式TensorFlow训练，本方案使用ResNet-50训练数据配置代码集，您可以使用该代码集提交TensorFlow训练任务，且每次进行模型训练时会自动克隆最新的版本，关于如何配置代码集，具体操作步骤如下所示。...
PAI-TF模型导出和部署说明
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。导出SaveModel通用模型 SavedModel格式 SavedModel是目前官方推荐的模型保存的...
步骤一：部署客户端
r${CC_DIR}/Tensorflow_Serving/client/requirements.txt#您也可以通过使用阿里云pip源加快下载速度：#python3-m pip install-r${CC_DIR}/Tensorflow_Serving/client/requirements.txt-trusted-host mirrors.cloud.aliyuncs....
量化优化
PAI-Blade支持TensorFlow和PyTorch模型在GPU硬件、端侧设备的INT8量化。本文主要介绍在GPU硬件上，如何使用PAI-Blade量化优化。背景信息 量化是模型压缩常用手段之一，通过将原始的全精度32位浮点数分桶量化为位宽更小的定点整数，可以达到...
查看弹性任务
您可以在AI运维控制台中查看Arena提交的弹性任务。本文介绍如何在AI运维控制台上查看弹性任务详情。...arena submit tf \-name=tf-git \-gpus=1 \-image=tensorflow/tensorflow:1.5.0-devel-gpu \-sync-mode=git \-sync-source=...
- 产品推荐
- 这些文档可能帮助您