OSS存储读写分离最佳实践
kubectl logs pod tf-mnist|grep dataload 预期输出：dataload cost time:0.843528985977 预期输出表明，在只读模式中合理利用缓存，可提升数据读取的速度。在大规模训练或其他持续加载数据的场景中，优化效果更加明显。登录 OSS管理控制台...
EmbeddingVariable
usr/bin/python import tensorflow as tf var=tf.get_embedding_variable("var_0",embedding_dim=3,initializer=tf.ones_initializer(tf.float32),partitioner=tf.fixed_size_partitioner(num_shards=4))emb=tf.nn.embedding_lookup(var,tf...
模型仓库（FastNN）
features={ 'image/encoded':tf.FixedLenFeature((),tf.string,default_value=''),'image/format':tf.FixedLenFeature((),tf.string,default_value='png'),'image/class/label':tf.FixedLenFeature([],tf.int64,default_value=tf.zeros([],...
PAI-TF模型导出和部署说明
import tensorflow as tf import json import os tf.app.flags.DEFINE_string("checkpointDir","","oss info")FLAGS=tf.app.flags.FLAGS print("checkpoint dir:"+FLAGS.checkpointDir)#定义变量 counter=tf.Variable(1,name="counter")one...
使用AIACC-Training TensorFlow版
TensorFlow目前进行数据分布式训练的主流方式是Horovod，AIACC-Training 1.5支持使用Horovod API兼容的方式对TensorFlow分布式训练进行加速。本文为您介绍使用AIACC-Training TensorFlow版的具体操作及可能遇到的问题。适配Horovod API 本...
云原生AI套件开发者使用指南
usr/bin/python#-*-coding:UTF-8-*-import os import gzip import numpy as np import tensorflow as tf from tensorflow import keras print('TensorFlow version:{}'.format(tf._version_))dataset_path="/root/data/"model_path="./...
使用GPU拓扑感知调度（Tensorflow版）
ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，即在节点的GPU组合中选择具有最优训练速度的组合。本文介绍如何使用GPU拓扑感知调度来提升TensorFlow分布式训练的训练速度。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择...
使用EAS Python SDK部署模型
本文为您介绍如何使用阿里云模型在线服务（EAS）的Python SDK代码将训练获得的模型部署为EAS在线服务，再使用EAS的预测SDK代码调用EAS服务，实现模型在线推理。背景信息 本文旨在介绍如何在Python环境中，通过SDK调用EAS接口来部署和调用...
优化TensorFlow模型
import os import numpy as np import tensorflow.compat.v1 as tf import blade 编写一个简单的函数，用于下载待优化的模型和测试数据。虽然PAI-Blade支持没有测试数据的优化，即零输入优化，但是基于真实输入数据的优化结果会更加准确...
函数概述
窗口函数 支持在指定的开窗列中，实现求和、求最大最小值、求平均值、求中间值、数值排序、数值偏移、抽样等业务处理能力。聚合函数 支持将多条输入记录聚合成一条输出值，实现求和、求平均值、求最大最小值、求平均值、参数聚合、字符串...
AI编译器优化
相比Dynamic Shape模式编译，您只需修改 blade.optimize 函数的config入参即可实现Static Shape编译，示例代码如下。optimized_model,opt_spec,report=blade.optimize(graph_def,#The original model,here is a TF GraphDef.'o1',#...
Python SDK使用说明
token('YWFlMDYyZDNmNTc3M2I3MzMwYmY0MmYwM2Y2MTYxMTY4NzBkNzdj*')client.init()request=StringRequest('[{"fea1":1,"fea2":2}]')for x in range(0,1000000):resp=client.predict(request)print(resp)TensorFlow输入输出示例 使用...
人工智能最佳实践
file(path_to_img)img=tf.image.decode_image(img,channels=3)img=tf.image.convert_image_dtype(img,tf.float32)shape=tf.cast(tf.shape(img)[:1],tf.float32)long_dim=max(shape)scale=max_dim/long_dim new_shape=tf.cast(shape*scale,...
Java SDK使用说明
同时，以字符串输入输出、TensorFlow输入输出、QueueService客户端和请求数据压缩为例，提供了使用Java SDK进行服务调用的完整程序示例。添加依赖项 使用Java编写客户端代码时，在Maven工程中使用 EAS Java SDK，必须在 pom.xml 文件中添加...
自定义聚合函数（UDAF）
其输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值。详情参见 User-defined Functions。说明 User-defined Functions 和下文中的 ASI_UDX_Demo 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。UDAF开发 ...
TensorFlow常见问题
使用TensorFlow实现图像分类，详情请参见 TensorFlow实现图像分类视频、使用TensorFlow实现图片分类 及 TensorFlow案例相关代码。使用TensorFlow自动写歌，详情请参见 TensorFlow自动写歌词 及 写歌案例。如何查看TensorFlow相关日志？查看...
基本语句
如果没有用于所涉及到的数据类型的赋值造型可用，PL/SQL解释器将尝试以文本的方式转换结果值，也就是在应用结果类型的输出函数之后再应用变量类型的输入函数。如果结果值的字符串形式无法被输入函数所接受，这可能会导致由输入函数产生的...
通过Docker安装并使用cGPU服务
cGPU服务可以隔离GPU资源，实现多个容器共用一张GPU卡。该服务作为阿里云容器服务Kubernetes版ACK（Container Service for Kubernetes）的组件对外提供服务，本文介绍如何通过Docker安装并使用cGPU服务。前提条件 在进行本操作前，请确保...
EasyRec Processor（推荐打分服务）
EAS 内置的EasyRec Processor支持将EasyRec或TensorFlow训练的推荐模型部署为打分服务，并具备集成特征工程的能力。通过联合优化特征工程和TensorFlow模型，EasyRec Processor能够实现高性能的打分服务。本文为您介绍如何部署及调用EasyRec...
高级配置：模型服务预热
为了解决模型初次请求耗时较长的问题，EAS 提供了模型预热功能，使模型服务在上线之前得到预热，从而实现模型服务上线后即可进入正常服务状态。本文介绍如何使用模型预热功能。背景信息 通常向模型发送初次请求时，不同的Runtime会进行不同...
聚合操作
本文为您介绍DataFrame支持的聚合操作，以及如何实现分组聚合和编写自定义聚合。DataFrame提供对列进行HyperLogLog计数的接口。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))常用聚合操作如下：使用 describe...
内建函数概述
窗口函数 支持在指定的开窗列中，实现求和、求最大最小值、求平均值、求中间值、数值排序、数值偏移、抽样等业务处理能力。聚合函数 支持将多条输入记录聚合成一条输出值，实现求和、求平均值、求最大最小值、求平均值、参数聚合、字符串...
创建自定义组件
name_="_main_":args=parse_args()print("Input channel train={}".format(args.train))print("Input channel test={}".format(args.test))print("Output channel model={}".format(args.model))print("Output channel checkpoints={}"....
使用SDK部署TensorFlow模型推理
前提条件 已使用PAI-Blade对TensorFlow模型进行了优化，详情请参见 优化TensorFlow模型。已安装SDK并获取鉴权Token，详情请参见 安装Blade。因为本文使用GCC 4.8，所以需要使用pre-cxx11 ABI的SDK。本文选用3.7.0版本的RPM包。说明 经过PAI...
函数计算节点使用说明
查看函数计算的日志，输出了当前的event，cityParam及dateParam参数以dict的形式传入函数计算中，实现了函数计算中能够使用大模型流程中间结果的功能。函数计算的出参 由于调用函数计算的输出均被转为string处理，这样在各个节点内无法方便...
内建函数概述
窗口函数 支持在指定的开窗列中，实现求和、求最大最小值、求平均值、求中间值、数值排序、数值偏移、抽样等业务处理能力。聚合函数 支持将多条输入记录聚合成一条输出值，实现求和、求平均值、求最大最小值、求平均值、参数聚合、字符串...
Python 2 UDAF
方法定义 描述 BaseUDAF.new_buffer()返回聚合函数的中间值的buffer。buffer 必须是 Marshal 对象（例如LIST、DICT），并且 buffer 的大小不应该随数据量递增。在极限情况下，buffer 在执行对象序列化后的大小不应该超过2 MB。BaseUDAF....
部署推理服务
print(tf_infer_spec.warm_up_data_path)print(tf_infer_spec.metadata.rpc.keepalive)使用镜像部署 使用Processor部署模型提供了易用性，但是无法支持用户灵活自定义的诉求，例如模型或是推理服务程序有较为复杂的依赖。对于类似的场景，...
函数节点
前往 函数计算 授权后用户可以绑定在阿里云编写好的JS 函数，通过选择 服务 与 函数 的方式与DS 中的函数节点绑定，如下图：选择函数节点 选择函数与服务 代码模板（node.js语法）：module.exports.handler=function(event,context,...
使用TensorFlow实现分布式DeepFM算法
本文为您介绍如何使用TensorFlow实现分布式DeepFM算法。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。前提条件 开通OSS，并创建...
策略创建
输出中间变量：中间变量是在策略计算时的过程变量，当某条设置了中间变量的策略命中后，中间变量会按照设置的逻辑进行计算或者输出。中间变量可以用在此事件的其他策略中。输出变量：除评分和标签外，还可以自定义输出变量，如：事件的入参...
TableRecordDataset
v2,v3,v4=dataset.make_one_shot_iterator().get_next()labels=tf.reshape(tf.cast(v4,tf.int32),[128])features=tf.stack([v1,v2,v3],axis=1)return features,labels#construct the model def model_fn(features,labels):W=tf.Variable(tf...
公网地址调用
EAS支持使用通用公网对服务进行公网地址调用，通用公网调用又包括使用官方的Python SDK、Java SDK及自行实现调用逻辑三种方式。本文介绍详细介绍每种调用方式的实现方法。通用公网调用 在PAI-EAS部署模型服务后，系统会自动生成一个公网...
使用版本和别名实现灰度发布
您可以为服务发布一个或多个版本，版本就相当于服务的快照，当您发布版本时，函数计算 会为服务生成快照，并自动分配一个版本号与其关联。您还可以为服务的版本创建别名，指向该版本。结合服务的版本和别名，您可以轻松实现发布、回滚以及...
VPC地址调用
EAS 支持通过Python官方SDK、Java官方SDK或自行实现调用逻辑的方式对服务进行VPC地址调用。本文详细介绍每种调用方式的实现方法。优势 避免了公网调用中的网络性能开销，可以提升调用速度。内网传输可以节省流量费用。使用限制 调用服务的...
PAI-TF数据IO方式介绍
配置Tensorflow组件 ①输入桩连接OSS输入 ②输入桩连接MaxCompute输入 ③输入桩连接模型输入 ④输出桩连接模型输出 ⑤输出桩连接MaxCompute输出 如果输入MaxCompute表，输出也是MaxCompute表，则只需要接入②和⑤。读写MaxCompute表需要...
模型训练
模型训练 API 与 tf.keras.Model 模块提供的 API 基本一致，关于 tf.keras.Model 模块的更多信息请参见 tf.keras。重要 本文涉及 API 中所有的占位符，例如"$df0"，必须包含单引号或双引号。模型训练 API 说明 模型训练 API 的使用方法如下...
BERT模型优化案例：使用Blade优化基于TensorFlow的...
import tensorflow.compat.v1 as tf import json#加载标签映射文件，获得输出类别整数对应的类别名称。with open('./nlu_general_news_classification_base/label_mapping.json')as f:MAPPING={v:k for k,v in json.load(f).items()}#加载...
使用paiio读写MaxCompute表数据
dataset=dataset.repeat(2).batch(3).prefetch(100)ids,prices=tf.compat.v1.data.make_one_shot_iterator(dataset).get_next()with tf.compat.v1.Session()as sess:sess.run(tf.compat.v1.global_variables_initializer())sess.run(tf....
Tensorflow
tensorflow_cpu_2.7 Tensorflow 2.7 否 tensorflow_gpu_1.12 Tensorflow 1.12 是 tensorflow_gpu_1.14 Tensorflow 1.14 是 tensorflow_gpu_1.15 Tensorflow 1.15 是 tensorflow_gpu_2.4 Tensorflow 2.4 是 tensorflow_gpu_2.7 Tensorflow 2...
- 产品推荐
- 这些文档可能帮助您