在GPU实例上使用RAPIDS加速图像搜索任务
验证两种方式的输出结果是否相同，输出结果为两个数组：distances：最小的K个距离值。本案例中搜索了10000张图片，K值为3，因此 distances.shape=(10000,3)。indices：对应的图片索引。indices.shape=(10000,3)。由于本案例所用数据集中...
SDWebUI使用方法与实践案例
WebUI页面介绍 序号 区域 ① 模型切换区域 ② 功能区域 ③ 参数区域 ④ 生图区域 模型切换区域 将下载的模型上传至OSS对应目录中，然后刷新WebUI页面，更新模型。推荐模型下载地址：C站。功能区域 文生图 prompt语法总结 通用prompt技巧 ...
服务部署：控制台
配置 挂载路径：挂载服务实例中的目标路径，用来读取模型文件。填写代码配置 单击 填写代码配置，进行代码配置，支持使用以下几种挂载方式，来读取服务部署过程依赖的代码数据。OSS挂载 配置OSS源地址路径，即选择OSS Bucket路径。配置 ...
Stable Diffusion AIACC加速版部署文档
单击 DreamBooth 按钮进入Dreambooth finetune界面，然后单击 Create 按钮进入模型创建界面，并输入待生成的模型权重名称和生成权重的来源（已经预先准备了一个权重v1-5-pruned-emaonly.safetensors[6ce0161689]），然后单击 Create 按钮...
模型库管理
在 模型浏览器 页面，选中已保存的模型，单击 打开，模型打开至DDM。您可以编辑当前模型，然后单击 保存，将数据模型保存到模型库。对模型进行编辑操作后，您可以单击 签入版本，输入 版本名称、变更描述，新增签入的模型版本。您可以在 ...
模型查看器
本文介绍模型查看器组件的图表样式和各配置项的含义。图表样式 模型查看器是基于DataV团队自研webgl可视化渲染引擎datav.vangogh的三维动画模型加载器。组件支持加载gltf和glb格式模型、PBR贴图、实例化mesh解析、沉浸式动画编辑器、选择...
EasyRec Processor（推荐打分服务）
EAS 内置的EasyRec Processor支持将EasyRec或TensorFlow训练的推荐模型部署为打分服务，并具备集成特征工程的能力。通过联合优化特征工程和TensorFlow模型，EasyRec Processor能够实现高性能的打分服务。本文为您介绍如何部署及调用EasyRec...
创建自定义组件
输出 输出管道用于保存训练模型、Checkpoints等结果，支持配置以下参数：输出名称：参照界面提示配置输出管道名称。存储类型：每个输出管道需要指定一个OSS或MaxCompute目录，该目录将会以挂载的方式挂载到训练容器的/ml/output/{channel_...
读取联邦表
本文介绍了读取已保存的联邦表的 API 及示例。注意 本文涉及 API 中所有的占位符，例如"$df0"，必须包含单引号或双引号。函数路径 fascia.biz.api.dataframe.read_fed_table 函数定义 def read_fed_table(fed_table)->HDataFrame:参数 fed_...
云原生AI套件开发者使用指南
本文以开源数据集fashion-mnist任务为例，介绍开发者如何利用云原生AI套件，在ACK集群运行深度学习任务，优化分布式训练性能，调试模型效果，并最终把模型部署到ACK集群中。背景信息 云原生AI套件包括一系列可单独部署的组件（K8s Helm ...
模型仓库（FastNN）
PAI模型仓库FastNN（Fast Neural Networks）是一个基于PAISoar的分布式神经网络仓库。目前FastNN已经支持了Inception、Resnet、VGG等经典算法，后续会逐步开放更多的先进模型。目前FastNN已经内置于 Designer 平台中，并且可以直接在该平台...
视频个性化推荐（协同过滤）
在 rec_test_etrec_behavior_weight_v1 节点编辑页面，输入如下示例代码：表定义：“行为权重定义表”CREATE TABLE IF NOT EXISTS rec_test_etrec_behavior_weight_v1(event STRING,weight DOUBLE COMMENT '行为权重')COMMENT '视频个性化...
OSS存储读写分离最佳实践
在读多写少、尤其是读写路径分离的场景中，例如，在大数据业务的训练过程中，建议您将OSS数据的读写操作进行分离，即将OSS存储卷的访问模式配置为ReadOnlyMany，然后通过配置缓存参数优化数据读取速度，并通过SDK等方式写入数据。...
Python脚本
在Python脚本中可以按照读本地文件的方式访问/ml/input/data/input1 来读取挂载后的文件。MaxCompute表输入 MaxCompute表的输入不支持挂载，系统会将对应的表信息以URI的形式，作为arguments传递给Python脚本，无需手工配置。arguments的...
创建训练任务
前提条件 已准备资源、镜像、数据集和代码集。具体操作，请参见 准备工作。如果使用Python SDK提交训练任务，需要配置环境变量。具体操作，请参见 安装Credentials工具 和 配置环境变量。通过控制台创建 步骤一：进入新建任务页面 登录 PAI...
PAI-TF模型导出和部署说明
如果您希望集成线上服务、验证性能、或者将训练好的模型提供给其他系统调用，您可以将PAI-TF模型导出并部署。本文为您介绍PAI-TF模型导出和部署相关说明，包括导出SaveModel通用模型、保存和恢复检查点以及如何将TF模型部署到EAS。警告 ...
PAI-TF数据IO方式介绍
高效的IO方式 TensorFlow读取方式是将数据读取转换成OP，通过Session.run的方式读取数据。读取线程将文件系统中的图片读入到一个内存的队列中。计算是另一个线程，并直接从内存队列中读取进行计算。这样解决了GPU因IO空闲而浪费性能的问题...
高级配置：模型服务预热
为了解决模型初次请求耗时较长的问题，EAS 提供了模型预热功能，使模型服务在上线之前得到预热，从而实现模型服务上线后即可进入正常服务状态。本文介绍如何使用模型预热功能。背景信息 通常向模型发送初次请求时，不同的Runtime会进行不同...
基本概念
模型服务 我的模型 管理所有已开通、已部署的模型，包括模型广场已开通模型及经过训练并完成部署的模型，支持针对模型进行调用、评估、训练。模型广场 在这里您可以根据业务所需挑选通义系列大模型、官方行业或场景大模型、第三方大模型等...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
使用AIACC-Training TensorFlow版
TensorFlow目前进行数据分布式训练的主流方式是Horovod，AIACC-Training 1.5支持使用Horovod API兼容的方式对TensorFlow分布式训练进行加速。本文为您介绍使用AIACC-Training TensorFlow版的具体操作及可能遇到的问题。适配Horovod API 本...
TensorFlow Serving镜像部署
TensorFlow Serving是一个适用于深度学习模型的推理服务引擎，支持将TensorFlow标准的SavedModel格式的模型部署为在线服务，并支持模型热更新与模型版本管理等功能。本文为您介绍如何使用镜像部署的方式部署TensorFlow Serving模型服务。...
通过Docker安装并使用cGPU服务
结果如下所示：框架 模型 batch_size 精度 images/sec（容器1）images/sec（容器2）TensorFlow ResNet50 16 FP16 151 307 TensorFlow ResNet50 32 FP16 204 418 TensorFlow ResNet50 64 FP16 247 503 TensorFlow ResNet50 128 FP16 257 516...
EmbeddingVariable
使用EmbeddingVariable进行超大规模训练，不仅可以保证模型特征无损，而且可以节约内存资源。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 ...
Java SDK使用说明
使用 EAS 提供的官方SDK进行服务调用，可以有效减少编写调用逻辑的时间并提高调用稳定性。本文介绍官方Java SDK接口详情。同时，以字符串输入输出、TensorFlow输入输出、QueueService客户端和请求数据压缩为例，提供了使用Java SDK进行服务...
图像度量学习训练（raw）
如果您的业务场景涉及度量学习，则可以通过图像度量学习训练（raw）组件构建度量学习模型，从而进行模型推理。本文为您介绍图像度量学习训练（raw）组件的配置方法和使用示例。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云...
图像检测训练（easycv）
图像检测训练（easycv）组件提供了主流的YOLOX和FCOS检测模型，用于目标检测的训练。若需在图像中标识并框选高风险实体，您可使用该组件构建目标检测模型，并进行推理分析。本文介绍图像检测训练（easycv）组件的配置方法和使用示例。前提...
提交训练作业
训练作业模型保存：训练作业的输出模型需要保存到指定路径，才能将模型持久化保存。您可以通过 PAI_OUTPUT_MODEL 环境变量获取到模型保存路径（默认为/ml/output/model），然后将模型保存到对应路径。当您的训练脚本有额外的Python包依赖，...
XGBOOST回归
XGBoost通过最小化平方损失函数，学习每个决策树的叶子节点权重，并将所有决策树的输出值加权求和得到最终的预测结果。组件截图 二、参数说明 字段设置 参数名称 参数说明 标签字段 用于训练的标签字段，数值类型，单选。特征字段 用于预测...
XGBOOST多分类
训练成功的模型保存在【项目台】-【模型管理】-【模型文件】中，保存名称为${工作流名称}_${建模组件名称}。例如，本项目中有成功建模的任务名为“xgb_criteo_10w”，其中有建模组件名字为“XGBOOST多分类”，则模型名字为“xgb_criteo_10w...
DT-MPC v3.1
开 开 关 模型配置 模型参数 参数名 描述 默认值 范围 模型长度 模型预测长度（画布周期为单位）无 20~200 模型增益 无 无-1e7~1e7 时滞 单位：秒 无 0~1000 时间常数T1 单位：秒 无 0~1000 时间常数T2 单位：秒 无 0~1000 修改模型参数 ...
Golang SDK使用说明
推荐使用 EAS 提供的官方SDK进行服务调用，从而有效减少编写调用逻辑的时间并提高调用稳定性。本文介绍官方Golang SDK接口详情，并以常见类型的输入输出为例，提供了使用Golang SDK进行服务调用的完整程序示例。背景信息 使用Golang SDK...
DLC LoRA训练最佳实践
本文为您介绍如何通过提交一个使用DLC计算资源的超参数调优实验，进行LoRA模型训练，以寻找最佳超参数配置。前提条件 首次使用AutoML功能时，需要完成AutoML相关权限授权。具体操作，请参见 云产品依赖与授权：AutoML。已完成DLC相关权限...
创建逻辑模型：应用表
添加表字段 您可以通过 快捷模式 或 代码模式 为表添加字段，其中 快捷模式 支持如下导入方式：从表/视图导入：从计算引擎已存在的物理表或视图导入字段，即在 查找已有表/视图 下拉列表搜索并选择已存在的物理表或视图进行字段导入。...
EAS模型服务概述
模型在线服务EAS（Elastic Algorithm Service）是PAI产品为实现一站式模型开发部署应用，针对在线推理场景提供的模型在线服务，支持将模型服务部署在公共资源组或专属资源组，实现基于异构硬件（CPU和GPU）的模型加载和数据请求的实时响应...
模型训练
该组件实现的EasyRec模型训练功能。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：Designer。组件配置 您可以使用以下任意一种方式，配置模型训练组件参数。可视化配置参数 输入桩 输入桩（从左到右）建议...
使用PAI Python SDK训练和部署PyTorch模型
PAI Python SDK 是PAI提供的Python SDK，提供了更易用的HighLevel API，支持用户在PAI完成模型的训练和部署。本文档介绍如何使用PAI Python SDK在PAI完成一个PyTorch模型的训练和部署。背景信息 PyTorch 是一个非常流行的深度学习框架，...
Python SDK使用说明
推荐使用 EAS 提供的官方SDK进行服务调用，从而有效减少编写调用逻辑的时间并提高调用稳定性。本文介绍官方Python SDK接口详情，并以常见类型的输入输出为例，提供了使用Python SDK进行服务调用的完整程序示例。安装方法 pip install-U eas...
新建解决方案
将工作组中已沉淀的数据标准、数据模型、数据加工场景、数据服务API配置、云计算资源配置等数据资产，进行版本化的解决方案创建及实例化，便于完成数据治理工作环境的初始化、跨平台的资产发布及迁移。本文介绍如何通过全新创建和根据已有...
创建逻辑模型：汇总表
添加表字段 您可以通过 快捷模式 或 代码模式 为表添加字段，其中 快捷模式 支持如下导入方式：从表/视图导入：从计算引擎已存在的物理表或视图导入字段，即在 查找已有表/视图 下拉列表搜索并选择已存在的物理表或视图进行字段导入。...
- 产品推荐
- 这些文档可能帮助您