量化优化
PAI-Blade支持TensorFlow和PyTorch模型在GPU硬件、端侧设备的INT8量化。本文主要介绍在GPU硬件上，如何使用PAI-Blade量化优化。背景信息 量化是模型压缩常用手段之一，通过将原始的全精度32位浮点数分桶量化为位宽更小的定点整数，可以达到...
使用EAS Python SDK部署模型
否则后续创建EAS服务时读取模型文件失败。access_key_id 需要配置您自己的AccessKey和AccessKeySecret。您可以使用阿里云账号或RAM用户来创建EAS客户端对象，如何获取AccessKey，详情请参见 如何获取AccessKey。本文以阿里云账号为例，如果...
PAI-TF数据转换方法
为了满足模型训练对数据格式的要求，确保数据能够以最适合的方式输入给模型，从而提升模型训练效果和整体训练效率，需要将原始数据转换为适合模型训练的格式。本文为您介绍PAI-TF数据转换方法。警告 公共云GPU服务器即将过保下线，您可以...
文本摘要训练
保存模型文件步数 表示每训练多少步，对模型进行评价，并保存当前最优模型。默认值为150。语言 支持的语言类型：zh：中文。en：英文。是否从原文中拷贝文本 输出结果是否从文本中拷贝文本片段：false：（默认值），表示不拷贝。true：表示...
管理模型
模型保存可以将模型保存到本地或者模型库中：在 开始 菜单中单击 保存/另存为 将模型保存/另存到本地。在 模型库 菜单中单击 保存/另存为 将模型保存/另存到模型库。重命名模型 模型树页面，右键单击当前模型的名称，在弹出的功能菜单中...
模型训练
file_uri：模型保存路径。input_shape：输入形式。build_method：构建方法。编译模型。此处接受的参数类似 keras，但新增了一个 strategy 参数，该参数接受一个 fascia.strategy.BaseKerasStrategy 的子类，或者是预定义的字符串，目前支持...
Java SDK使用说明
TFRequest void setSignatureName(String value)功能：请求的在线服务的模型为TensorFlow的SavedModel格式时，设置请求模型的 signatureDef 的名称。参数：请求模型的 signatureDef 的名称。void addFetch(String value)功能：请求...
Modelscope镜像部署
使用普通模型的通用操作流程如下：步骤一：选择模型 在官方库中选择要部署的模型，本文以机器翻译模型为例，进入 damo/nlp_csanmt_translation_en2zh 模型页面，分别获取MODEL_ID、TASK、REVISION的值并保存到本地。MODEL_ID：模型ID。TASK...
PAI-TF任务参数介绍
PAI-TF是深度学习计算框架，支持多种模型训练。本文为您介绍PAI-TF任务涉及的命令参数和相关IO参数。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请...
图像度量学习训练（raw）
如果您的业务场景涉及度量学习，则可以通过图像度量学习训练（raw）组件构建度量学习模型，从而进行模型推理。本文为您介绍图像度量学习训练（raw）组件的配置方法和使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云...
使用EasyASR进行语音识别
本文采用的wav2letter-small模型对应的值为“w2l”vocab_file：ASR模型对应的汉字词汇表。export_dir：导出SavedModel的路径，您可以根据实际情况修改。num_predict_process：用于模型预测的线程数，您可以根据实际情况修改。num_preproces...
使用Blade EAS Plugin优化并部署模型
背景信息 目前 EAS 的TensorFlow和PyTorch Processor已经集成了Blade运行时SDK，因此如果您使用这两种Processor进行模型部署，则可以通过配置 EAS 服务配置文件的方式进行模型优化。说明 启用Blade EAS Plugin将在 EAS 服务之前对您提供的...
使用Blade优化基于TensorFlow的BERT模型
步骤二：调用Blade优化模型 调用 blade.optimize 接口优化模型，并保存优化后的模型。步骤三：验证性能与正确性 对优化前后的推理速度及推理结果进行测试，从而验证优化报告中信息的正确性。步骤四：加载运行优化后的模型 集成Blade SDK，...
EAS一键部署HuggingFace&ModelScope服务应用
EAS 模型在线服务，具体操作步骤如下：在官方库中选择要部署的模型，本文以机器翻译模型为例，进入 damo/nlp_csanmt_translation_en2zh 模型页面，分别获取MODEL_ID、TASK、REVISION的值并保存到本地。MODEL_ID：模型ID。TASK：模型对应的...
WorkQueue
在大规模分布式异步训练中，您可以使用WorkQueue进行弹性数据切分，以缓解长尾效应，从而降低模型训练所需的时间。本文介绍WorkQueue的调用格式、参数及其提供的方法。同时，以文件数据源和MaxCompute表数据源为例，介绍实现数据切分的经典...
使用paiio读写MaxCompute表数据
说明 因为I/O对每个模型的整体计算影响不同，所以提高预取线程数，不一定可以提升整体模型的训练速度。capacity 否 INT 0 读取表的总预取量，单位为行数。如果 num_threads 大于 1，则每个线程的预取量为 capacity/num_threads 行（向上取...
使用AIACC-Training TensorFlow版
TensorFlow目前进行数据分布式训练的主流方式是Horovod，AIACC-Training 1.5支持使用Horovod API兼容的方式对TensorFlow分布式训练进行加速。本文为您介绍使用AIACC-Training TensorFlow版的具体操作及可能遇到的问题。适配Horovod API 本...
视频分类训练
32 模型保存频率 否 保存Checkpoint的频率，以Epoch为单位。取值为1表示每完成一次训练就保存一次Checkpoint。1 执行调优 开启半精度 是 选中该参数，表示使用FP16半精度进行模型训练，用来降低内存占用。无 单机或分布式 否 运行模式，...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
针对无标签数据创建智能巡检任务
查看任务信息 在 模型训练作业详情 页面，查看任务运行的阶段，包括读取训练数据>训练数据读取完成>开始模型训练>模型训练完成>读取验证数据>验证数据读取完成>开始预测验证数据>预测完成，生成报告>开始保存模型>保存模型完成>任务完成，...
模型查看器
本文介绍模型查看器组件的图表样式和各配置项的含义。图表样式 模型查看器是基于DataV团队自研webgl可视化渲染引擎datav.vangogh的三维动画模型加载器。组件支持加载gltf和glb格式模型、PBR贴图、实例化mesh解析、沉浸式动画编辑器、选择...
工业分析建模
单击右侧配置栏的 数据定义，CSV组件会读取文件中的参数名称，在左侧框选中需要用到的参数，添加到右侧已选择展示框，单击 保存。以搭建线性回归算法为例，配置线性回归组件。从左侧拖入线性回归组件到画布中，将CSV组件的输出端口（OUT）...
TableRecordDataset
您可以使用TableRecordDataset接口按照行读取MaxComepute表数据并构建数据流。TensorFlow社区推荐在1.2及以上版本，使用Dataset接口代替线程和队列构建数据流。通过多个Dataset接口的组合变换生成计算数据，可以简化数据输入代码。警告 ...
针对有异常标签的数据创建智能巡检任务
查看任务信息 在 模型训练作业详情 页面，查看任务运行的阶段，包括读取训练数据>训练数据读取完成>开始模型训练>模型训练完成>读取验证数据>验证数据读取完成>开始预测验证数据>预测完成，生成报告>开始保存模型>保存模型完成>任务完成，...
机器学习开发示例
在机器学习中我们用计算测试值和预测值之间出现的误差的均方根的平均值来查看模型的准确性。pyspark from pyspark.ml.evaluation import RegressionEvaluator#使RegressionEvaluator用来计算均方根误差。evaluator=RegressionEvaluator...
方案扩展
本文介绍Feed流系统的两种扩展模型：推拉结合方案和加入排序后的Rank流方案。推拉结合方案 虽然使用推模式可以满足Feed流系统需求，但随着用户数量增长，数据量也急剧增长。在推模式的工作下，数据量会膨胀得更多。针对这个缺点，可以考虑...
方案设计
本章节主要为您介绍基于表格存储的海量气象格点数据解决方案的模型及方案设计。标准化格点数据模型 一个规整的五维网格数据为一个网格的数据集（GridDataSet），按照维度顺序五维分别为：维度 说明 variable 变量，例如各种物理量 time ...
Python接口文档
OptimizeSpec,OptimizeReport]:pass 输入参数 参数 类型 是否必选 描述 默认值 model 多种 是 待优化的模型，支持以下类型的模型：如果优化TensorFlow模型，支持以下格式：GraphDef对象。GraphDef PB文件路径，即以.pb 或.pbtxt 为后缀的...
图像分类训练（torch）
如果您的业务场景涉及图像分类，则可以通过图像分类训练（torch）组件构建图像分类模型，从而进行模型推理。本文为您介绍图像分类训练（torch）组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品...
Huggingface镜像部署
finetuned-sst-2-english 模型页面，分别获取下图中的MODEL_ID（模型ID）、TASK（模型对应的TASK）、REVISION（模型版本）的值并保存到本地。您可以根据下表中的对应关系找到部署EAS服务时所需的TASK：HuggingFace页面展示的TASK 部署EAS...
图像关键点训练
如果您的业务场景涉及人体相关的关键点检测，则可以通过图像关键点训练组件构建关键点模型，从而进行模型推理。本文为您介绍图像关键点训练组件的配置方法及使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖...
宽表模型介绍
宽表（WideColumn）模型是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、过滤器等功能。宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明 关于宽表模型的更多信息...
服务定时自动部署
完成定时训练，并将模型保存至固定地址，详情请参见 使用DataWorks离线调度Designer工作流。如果RAM用户进行定时自动模型部署，则需要对其赋予DataWorks相关权限及 EAS 模型部署权限，详情请参见 RAM用户登录并使用DataWorks 和 云产品依赖...
优化TensorFlow模型
PAI-Blade提供了丰富的模型优化方法，您只需要在本地环境中安装Wheel包，即可通过调用Python API的方式进行模型优化。本文介绍如何使用PAI-Blade优化TensorFlow模型，所有实验结果均在NVidia T4卡上测得。前提条件 已安装TensorFlow及PAI-...
使用EasyASR进行语音分类
EasyASR（语音智能增强算法包）提供多种模型的训练及预测功能，旨在帮助语音智能应用开发者方便快捷地构建语音模型并应用于生产，例如语音的背景音乐检测。本文为您介绍如何在 DSW 中使用EasyASR算法包训练语音分类模型。前提条件 已创建 ...
API
} 参数：字段 类型 含义 备注 propValue PackMultiAttrSchemaDataWith,Config>|MultiAttrSchemaDataWith实体模型数据数组或者带包装字段的实体模型数据数组 参见 MultiAttrSchemaDataWith PackMultiAttrSchemaDataWith 返回值：...
宽表模型介绍
宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部...
读取MaxCompute训练EasyRec模型
本文为您介绍如何在Data Science集群读取MaxCompute的数据，进行EasyRec模型训练。前提条件 已创建DataScience集群，且选择了EasyRec和TensorFlow服务，详情请参见 创建集群。已创建MaxCompute项目，详情请参见 创建MaxCompute项目。下载...
Java SDK快速入门
通过 表格存储 Java SDK使用 表格存储 宽表模型或者时序模型时，您需要先创建表，然后写入数据到表中以及读取表中数据。本文介绍如何快速使用宽表模型和时序模型。背景信息 表格存储 提供了宽表模型、时序模型、消息模型等多种数据模型，...
人物图像检测API详情
模型概览 模型名 模型简介 facechain-facedetect 对用户上传的人物图像进行检测，判断其中所包含的人脸是否符合facechain微调所需的标准，检测维度包括人脸数量、大小、角度、光照、清晰度等多维度，支持图像组输入，并返回每张图像对应的...
- 产品推荐
- 这些文档可能帮助您