基于ECS的弹性推理
arena serve tensorflow \-name=bert-tfserving \-model-name=chnsenticorp \-selector=inference:tensorflow \-gpus=1 \-image=tensorflow/serving:1.15.0-gpu \-data=model-pvc:/models \-model-path=models/tensorflow \-version-policy...
开启集群GPU监控
GPU监控2.0基于NVIDIA DCGM构建...apiVersion:batch/v1 kind:Job metadata:name:tensorflow-benchmark spec:parallelism:1 template:metadata:labels:app:tensorflow-benchmark spec:containers:name:tensorflow-benchmark image:registry....
PAI-TF超参支持
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。超参文件 您可以通过一个本地文件配置相应的超参信息，格式如下。batch_size=10 ...
AI任务概述
TensorFlow单机训练 TensorFlow分布式训练 PyTorch单机训练 PyTorch分布式训练 弹性训练 DeepSpeed分布式训练 模型管理 您可以关联和管理训练任务及其产出的模型。模型管理 模型评测 您可以通过Arena提交模型评测任务，对模型准确率、召回...
AI推理服务概述
提交GPU共享模型推理任务 Tensorflow模型推理服务 您可以通过Arena把Tensorflow模型部署成Tensorflow-serving推理服务。部署Tensorflow模型推理服务 PyTorch模型推理服务 PyTorch是一种深度学习计算框架，可用来训练模型。您可以通过Triton...
ImageItem
名称 类型 描述 示例值 object Docker Image 详情 ImageTag string Docker 镜像的 Tag tensorflow-training:2.3-cpu-py36-ubuntu18.04 ImageUrl string 镜像 URL 地址 registry....registry-vpc....
TensorFlow服务请求构造
本文为您介绍如何为基于通用Processor的TensorFlow服务构造请求数据。输入数据 EAS 预置了TensorFlow Processor，为保证性能，其输入输出为ProtoBuf格式。调用案例 EAS 在华东2（上海）的VPC环境中部署了一个Public的测试案例，其服务名称...
使用TensorFlow实现分布式DeepFM算法
本文为您介绍如何使用TensorFlow实现分布式DeepFM算法。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。前提条件 开通OSS，并创建...
使用EAS Python SDK部署模型
import tensorflow as tf import tensorflow_datasets as tfds(ds_train,ds_test),ds_info=tfds.load('mnist',split=['train','test'],data_dir='./cached_datasets',shuffle_files=True,as_supervised=True,with_info=True,)def normalize...
使用Kubernetes默认GPU调度
本文以运行GPU的TensorFlow任务为例，介绍如何快速部署一个GPU应用。注意事项 针对纳入K8s集群管理的GPU节点，建议您按照本文示例中标准的K8s扩展资源申请方式为应用申请GPU资源。为业务应用申请和使用GPU资源时，请关注以下注意事项。请勿...
高级配置：模型服务预热
对于部分TensorFlow模型，初次调用时需要将模型相关文件或参数加载到内存中，该过程可能要耗费较长时间，从而导致前几次请求模型服务的RT较长，甚至出现408超时或450等情况。因此，EAS 提供了模型预热功能，即模型服务上线之前对模型服务...
通用环境变量列表
DLC为TensorFlow训练配置的通用环境变量如下：环境变量名 描述 TF_CONFIG TensorFlow分布式网络拓扑信息，示例如下：{"cluster":{"worker":["dlc1y3madghd*-worker-0.t1612285282502324.svc:2222","dlc1y3madghd*-worker-1.t...
ResNet50优化案例：使用Blade优化基于TensorFlow的...
本文介绍如何使用Blade优化基于TensorFlow的ResNet50模型。背景信息 残差网络ResNet（Residual Network）作为计算机视觉任务主干经典神经网络的一部分，堪称图像领域深度学习模型实战的"Hello World。ResNet使用卷积层提取图像的特征，并...
Arena在多用户场景下的最佳实践
本文通过实现五个目标任务举例说明如何在多用户场景下使用Arena。操作视频 前提条件 请确保您已完成以下...arena submit tf \-name=tf-git-bob-01 \-gpus=1 \-image=tensorflow/tensorflow:1.5.0-devel-gpu \-sync-mode=git \-sync-source=...
TensorFlow Serving镜像部署
TensorFlow Serving是一个适用于深度学习模型的推理服务引擎，支持将TensorFlow标准的SavedModel格式的模型部署为在线服务，并支持模型热更新与模型版本管理等功能。本文为您介绍如何使用镜像部署的方式部署TensorFlow Serving模型服务。...
BERT模型优化案例：使用Blade优化基于TensorFlow的...
本文主要介绍如何使用Blade优化通过TensorFlow训练的BERT模型。使用限制 本文使用的环境需要满足以下版本要求：系统环境：Linux系统中使用Python 3.6及其以上版本、CUDA 10.0。框架：TensorFlow 1.15。推理优化工具：Blade 3.16.0及其以上...
安装AIACC-Training
AIACC-Training支持基于主流人工智能（包括PyTorch、TensorFlow、MXNet、Caffe等）搭建的模型进行分布式训练。在接口层面上，目前AIACC-Training兼容了PyTorch DDP以及Horovod的API，对于原生使用上述分布式训练方法的训练代码，可以做到无...
AI加速使用案例汇总
BERT模型优化案例：使用Blade优化基于TensorFlow的BERT模型 介绍如何使用Blade优化通过TensorFlow训练的BERT模型。ResNet50优化案例：使用Blade优化基于TensorFlow的ResNet50模型 介绍如何使用Blade优化基于TensorFlow的ResNet50模型。...
写歌案例
本文为您提供使用TensorFlow实现自动填写歌词的相关数据及代码下载地址。代码及数据
TableWriter API
读写MaxCompute表的功能由 tensorflow.python_io.TableWriter 提供，可以在TensorFlow的Graph执行逻辑以外，直接对MaxCompute表进行操作。说明 PAI-TF作业执行过程中，写入MaxCompute表的数据，必须在作业正常结束以后，才能通过...
配置共享GPU调度节点选卡策略
展开查看YAML详细信息 apiVersion:batch/v1 kind:Job metadata:name:tensorflow-mnist-spread spec:parallelism:3 template:metadata:labels:app:tensorflow-mnist-spread spec:nodeSelector:kubernetes.io/hostname:<NODE_NAME>#指定为...
SmartData 3.1.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、...支持JindoFS Tensorflow Connector，通过实现Tensorflow Filesystem，支持原生的Tensorflow IO接口。支持Tensorflow 1.15及后续版本和Tensorflow 2.3后续版本。
通过共享GPU调度实现多卡共享
展开查看YAML详细信息 apiVersion:batch/v1 kind:Job metadata:name:tensorflow-mnist-multigpu spec:parallelism:1 template:metadata:labels:app:tensorflow-mnist-multigpu#在Pod label中申明8 GiB显存,由2块GPU卡提供，每块提供4 GiB...
EmbeddingVariable
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景信息 Embedding已成为深度学习领域处理Word及ID类特征的有效途径。作为一种...
WorkQueue
版本配套关系 Python版本：Python 2.7 PAI-TensorFlow版本：PAI-TensorFlow 1.12 pai.data.WorkQueue 功能 工作项队列类，用于统一管理所有Worker上的工作项。每个Worker的当前剩余工作项被消费完后，会从同一个WorkQueue获得新的工作项，...
多机多卡案例
本文为您提供使用TensorFlow实现多机多卡的相关代码下载地址。多机多卡案例代码下载
TableRecordDataset
TensorFlow社区推荐在1.2及以上版本，使用Dataset接口代替线程和队列构建数据流。通过多个Dataset接口的组合变换生成计算数据，可以简化数据输入代码。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用...
使用Blade EAS Plugin优化并部署模型
背景信息 目前 EAS 的TensorFlow和PyTorch Processor已经集成了Blade运行时SDK，因此如果您使用这两种Processor进行模型部署，则可以通过配置 EAS 服务配置文件的方式进行模型优化。说明 启用Blade EAS Plugin将在 EAS 服务之前对您提供的...
模型评测
from kubeai.evaluate.evaluator import Evaluator from abc import ABC from kubeai.api import KubeAI import tensorflow as tf import numpy as np from tensorflow.keras import layers,models class CNN(object):def_init_(self):...
ModelVersion
{} InferenceSpec object 描述如何应用于下游的推理应用：如描述 EAS 的 processor/container 等，如：{"processor":"tensorflow_gpu_1.12"} {"processor":"tensorflow_gpu_1.12"} EvaluationSpec object 评测配置 SourceType string 模型...
配置共享GPU调度仅共享不隔离策略
展开查看YAML详细信息 apiVersion:batch/v1 kind:Job metadata:name:tensorflow-mnist-share spec:parallelism:1 template:metadata:labels:app:tensorflow-mnist-share spec:containers:name:tensorflow-mnist-share image:registry....
步骤三：远端访问
TensorFlow Serving启动成功后，您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后，得到返回结果。操作步骤 登录客户端ECS实例。具体操作，请参见 连接方式概述。说明 本示例将客户端作为远端进行访问。安装所需的mesa-...
概览
ResNet50优化案例：使用Blade优化基于TensorFlow的ResNet50模型 BERT模型优化案例：使用Blade优化基于TensorFlow的BERT模型 EAS EAS一键部署HuggingFace&ModelScope服务应用 Proxima在EAS上部署最佳实践 使用EAS Python SDK部署模型 SDK ...
模型评估
模型评估 API 代码示例 from typing import Union,Tuple,Dict import tensorflow as tf from tensorflow import keras from tensorflow.python.keras import Model from fascia.biz.model import JupiterKerasModel from fascia.biz.api....
PAI-TF任务参数介绍
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。PAI-TF命令参数 您可以在 Designer 的SQL节点、DataWorks SQL节点及MaxCompute的...
Tensorboard：训练可视化
DSW提供的Tensorboard插件是TensorFlow社区开发的深度学习可视化工具，可以从TensorFlow运行时生成的日志文件中展示丰富的可视化信息，帮助您更好地理解机器学习模型训练过程中的性能指标。功能特性 Tensorboard提供以下可视化功能：训练...
精排配置
模型配置 在精排阶段，一般会调用 EAS 上面的算法模型服务来获取得分，EAS 支持多种类型模型的部署，PAI-REC也支持不同模型的调用，包括 pmml、ps、alink、tensorflow、easyrec等，模型的信息配置对应配置总览中的 AlgoConfs。配置示例 {...
ListImages-获取镜像列表
tensorflow_2.9 PageNumber integer 否 镜像列表的页码。起始值为 1，默认为 1。1 PageSize integer 否 分页查询时设置的每页行数。默认为 20。20 SortBy string 否 分页查询时的排序字段。目前 GmtCreateTime 字段用于排序。GmtCreateTime...
GetModelVersion-获取模型版本
{"Processor":"tensorflow_gpu_1.12"} FormatType string 模型格式，可能值：OfflineModel SavedModel Keras H5 Frozen Pb Caffe Prototxt TorchScript XGBoost PMML AlinkModel ONNX SavedModel FrameworkType string 模型框架，可能值：...
AI编译器优化
本文介绍如何使用AICompiler对TensorFlow和PyTorch模型进行编译优化。背景信息 随着AI模型结构的快速演化，底层计算硬件的层出不穷，用户使用习惯的推陈出新，使得单纯基于手工优化解决AI模型的性能和效率问题越来越困难。为了解决这些问题...
- 产品推荐
- 这些文档可能帮助您