概览
ResNet50优化案例：使用Blade优化基于TensorFlow的ResNet50模型 BERT模型优化案例：使用Blade优化基于TensorFlow的BERT模型 EAS EAS一键部署HuggingFace&ModelScope服务应用 Proxima在EAS上部署最佳实践 使用EAS Python SDK部署模型 SDK ...
模型评估
模型评估 API 代码示例 from typing import Union,Tuple,Dict import tensorflow as tf from tensorflow import keras from tensorflow.python.keras import Model from fascia.biz.model import JupiterKerasModel from fascia.biz.api....
PAI-TF任务参数介绍
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。PAI-TF命令参数 您可以在 Designer 的SQL节点、DataWorks SQL节点及MaxCompute的...
Tensorboard：训练可视化
DSW提供的Tensorboard插件是TensorFlow社区开发的深度学习可视化工具，可以从TensorFlow运行时生成的日志文件中展示丰富的可视化信息，帮助您更好地理解机器学习模型训练过程中的性能指标。功能特性 Tensorboard提供以下可视化功能：训练...
精排配置
模型配置 在精排阶段，一般会调用 EAS 上面的算法模型服务来获取得分，EAS 支持多种类型模型的部署，PAI-REC也支持不同模型的调用，包括 pmml、ps、alink、tensorflow、easyrec等，模型的信息配置对应配置总览中的 AlgoConfs。配置示例 {...
ListImages-获取镜像列表
tensorflow_2.9 PageNumber integer 否 镜像列表的页码。起始值为 1，默认为 1。1 PageSize integer 否 分页查询时设置的每页行数。默认为 20。20 SortBy string 否 分页查询时的排序字段。目前 GmtCreateTime 字段用于排序。GmtCreateTime...
GetModelVersion-获取模型版本
可能值：OfflineModel SavedModel Keras H5 Frozen Pb Caffe Prototxt TorchScript XGBoost PMML AlinkModel ONNX SavedModel FrameworkType string 模型框架，可能值：Pytorch-XGBoost Keras Caffe Alink Xflow TensorFlow TensorFlow ...
示例代码
公网地址调用的TensorFlow示例（调用Caffe可以参考该示例，二者的输入输出一致）。VPC地址调用的TensorFlow示例（调用Caffe可以参考该示例，二者的输入输出一致）。服务调用Python SDK 服务调用的Python SDK封装了多线程连接池、请求数据...
通过Docker安装并使用cGPU服务
tensorflow:19.10-py3说明 该命令以使用TensorFlow镜像nvcr.io/nvidia/tensorflow:19.10-py3为例，请根据实际情况更换为您自己的容器镜像。使用TensorFlow镜像搭建TensorFlow深度学习框架的操作，请参见 在GPU实例上部署NGC环境。本示例中...
部署推理服务
tf_predictor=Model(inference_spec=InferenceSpec(processor="tensorflow_cpu_2.7"),model_data="oss:/<YourOssBucket>/path-to-tensorflow-saved-model").deploy(instance_type="ecs.c6.xlarge",#可选：使用TensorFlow processor的...
DescribeEstackImage-查询E-HPC基础镜像
singularity 示例 正常返回示例 JSON 格式 {"PageSize":10,"RequestId":"2D69A58F-345C-4FDE-88E4-BF518948xxxx","PageNumber":1,"TotalCount":100,"ImageList":{"ImageListInfo":[{"ImageName":"tensorflow-21.09-tf1-py3.sif","ImageSize...
dsdemo代码介绍
TENSORFLOW_WORKER_NUMBER=4TENSORFLOW_BATCHSIZE=4096TENSORFLOW_LR=0.00032TENSORFLOW_GPUS=4TENSORFLOW_LOG_DIR=hdfs://192.168.*.*:9000/training_logs#pytorch train PYTORCH_TRAINING_REPOSITORY=pytorch-training PYTORCH_TRAINING_...
分布式训练框架StarServer
StarServer不仅将原生TensorFlow中的 Send/Recv 语义修改为 Pull/Push 语义，而且实现了图执行过程中的Lock-Free，大幅度提高了并发执行子图效率。PAI-TF支持更大的训练规模和训练性能，针对典型业务场景，其训练性能比原生TensorFlow提升...
CreateModelVersion-创建模型版本
OfflineModel SavedModel Keras H5 Frozen Pb Caffe Prototxt TorchScript XGBoost PMML AlinkModel ONNX SavedModel FrameworkType string 否 模型框架，取值如下：Pytorch-XGBoost Keras Caffe Alink Xflow TensorFlow TensorFlow ...
使用限制
推理框架 目前支持基于TensorFlow和PyTorch框架的推理业务，其他框架暂不支持。付费方式 目前仅支持按量付费的方式，其他购买方式暂不支持。售卖地域 目前仅只支持5个地域：华北2（北京）、华东1（杭州）、华东2（上海）、华南1（深圳）...
ListModelVersions-获取模型版本列表
配置模型框架，来过滤模型版本列表，取值如下：Pytorch-XGBoost Keras Caffe Alink Xflow TensorFlow TensorFlow ModelId string 是 模型 ID。如何获取模型 ID，请参见 ListModels。model-dajbueh*SourceType string 否 根据模型来源类型，...
镜像使用说明
函数计算Serverless GPU提供了多个官方基础镜像，这些官方基础镜像包括了当前主流的机器学习框架以及热门的模型平台镜像，例如PyTorch、TensorFlow、PaddlePaddle 和 ModelScope。您可以快速开始使用GPU进行高性能计算。这些官方基础镜像...
使用paiio读写MaxCompute表数据
为了在 DLC 任务中方便地读写MaxCompute表数据，PAI团队开发了paiio...节点镜像：PAI官方镜像 选择TensorFlow 1.12、TensorFlow 1.15或TensorFlow 2.0版本对应的镜像。数据集配置：数据集 选择步骤1创建的数据集；挂载路径 配置为/mnt/data/...
分布式通信框架gRPC+
针对典型业务场景，其训练性能比原生TensorFlow提升了数倍。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。开启gRPC+分布式训练 ...
定制排序模型开发指南
pass def loss_op(self):pass CustomModel代码参考：from collections import OrderedDict import tensorflow as tf from tensorflow.contrib import layers from tensorflow.contrib.framework.python.ops import arg_scope from ...
AdagradDecay Optimizer
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。背景信息 超大规模模型的训练样本通常在10亿规模以上，且持续增量训练时间在...
关闭对应用的GPU隔离能力
value:"true"command:python-tensorflow-sample-code/tfjob/docker/mnist/main.py-max_steps=100000-data_dir=tensorflow-sample-code/data resources:limits:#单位为GiB，该Pod总共申请了3 GiB显存。aliyun....
GPU调度概述
普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes默认调度器独占GPU，请参见 使用Kubernetes默认GPU调度。您也可通过使用GPU节点标签自定义调度，具体操作，请参见 使用节点标签自定义GPU...
深度学习框架及开通说明
背景信息 深度学习支持的框架包括TensorFlow（兼容开源TF1.12版本）。TensorFlow支持用户自己编写的Python代码。在使用深度学习框架训练数据之前，需要上传训练的数据至阿里云对象存储OSS中，算法在运行时从指定的OSS目录中读取数据。算法...
镜像使用说明
函数计算Serverless GPU提供了多个官方基础镜像，这些官方基础镜像包括了当前主流的机器学习框架以及热门的模型平台镜像，例如PyTorch、TensorFlow、PaddlePaddle 和 ModelScope。您可以快速开始使用GPU进行高性能计算。这些官方基础镜像...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
使用Gang scheduling
INFO|2020-05-19T07:02:18|/opt/launcher.py|27|2020-05-19 07:02:18.199696:I tensorflow/core/distributed_runtime/master.cc:221]CreateSession still waiting for response from worker:/job:worker/replica:0/task:3 INFO|2020-05-19T...
PAI-TF日志查看方式
警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。无论以何种方式提交PAI-TF任务，都可以得到如下图所示的日志。序号 描述 ① 该...
使用Gang scheduling
INFO|2020-05-19T07:02:18|/opt/launcher.py|27|2020-05-19 07:02:18.199696:I tensorflow/core/distributed_runtime/master.cc:221]CreateSession still waiting for response from worker:/job:worker/replica:0/task:3 INFO|2020-05-19T...
使用场景
假设实例ID为 eci-uf60grb03kz2nlm2*，则命令如下：eci exec-ti eci-uf60grb03kz2nlm2*bash 训练简易模型 以下示例中，准备了一个示例镜像，它内部包含了一个Python程序，容器启动后，该程序会从网上下载一些数据，然后使用TensorFlow来...
GetCommonImage-获取常用镜像
获取ehpc当前提供的镜像，包括intel oneapi镜像，pytorch镜像，TensorFlow镜像等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API...
模型训练
模型训练代码示例 from typing import Union,Tuple,Dict import tensorflow as tf from tensorflow import keras from tensorflow.python.keras import Model from fascia.biz.model import JupiterKerasModel from fascia.biz.summary ...
查询命令
WARN:./requirements.txt not found,skip installing requirements.=|PAI Tensorflow powered by Aliyun PAI Team.|=Network is under initialization.Network successfully initialized.[2021-04-16 12:27:56.368026][INFO][7#7]...
Java SDK使用说明
同时，以字符串输入输出、TensorFlow输入输出、QueueService客户端和请求数据压缩为例，提供了使用Java SDK进行服务调用的完整程序示例。添加依赖项 使用Java编写客户端代码时，在Maven工程中使用 EAS Java SDK，必须在 pom.xml 文件中添加...
推理加速（Blade）概述
PAI-Blade结合了多种优化技术，对训练完成的模型进行优化，从而达到最优的推理性能。同时，PAI-Blade提供的...部署模型推理，详情请参见 使用SDK部署TensorFlow模型推理、使用SDK部署PyTorch模型推理 和 使用Blade EAS Plugin优化并部署模型。
GetServiceTemplate-获取服务模板
{"processor":"tensorflow_gpu_1.12"} 示例 正常返回示例 JSON 格式 {"RequestId":"40325405-579C-4D82*","ServiceTemplateId":"st-rbvg5wzlj*9ks92","ServiceTemplateName":"stable_diffusion_aigc","ServiceTemplateDescription":"stable...
使用任务队列ack-kube-queue
containers:name:tensorflow image:busybox command:/bin/sh-c-args:"sleep 30s"resources:requests:cpu:1 memory:1Gi limits:cpu:1 memory:1Gi Worker:replicas:2 restartPolicy:Never template:spec:containers:name:tensorflow image:...
机器学习边缘推理
本文通过在树莓派4B上部署基于Tensorflow Lite的深度学习Object Detection（目标检测）模型，讲述如何在Link IoT Edge上使用机器学习推理。步骤一：配置树莓派并安装边缘推理运行时 使用SSH工具连接到树莓派终端，执行如下步骤中的命令。...
MNIST案例
本文为您提供使用TensorFlow对MNIST数据集进行训练的相关代码、训练数据及测试数据下载地址。执行代码下载 训练数据下载 测试数据下载 说明 需要将下载的三个文件上传至OSS同一目录。
人工智能最佳实践
您可以通过 函数计算 控制台、SDK或Serverless Devs来体验GPU实例的最佳实践。本文以Python语言为例，说明如何使用Serverless Devs开发工具或通过控制台，将原始图像经过函数代码处理，实现风格合成以及对象检测。...FROM registry....
- 产品推荐
- 这些文档可能帮助您