数据对接期
数据对接期 1、什么是场景ID，该如何进行埋点，如何在查询中使用，行为表和内容表场景ID是否需要对应，有什么作用？举例1.1内容表(item)中有一个itemA，其item_id为1，场景ID字段值为：1001,1002行为表(behavior)中有两条行为，分别为item_...
搜索处理
search_strategy string 否 用于 多路搜索 时配置查询策略名称 re_search string 否 用来设置重查策略，当前只支持按照total hits的阈值来设置。biz string 否 用来描述本次请求的相关业务信息。比如本次请求来源的业务类型。summary ...
概述
所以，您可以 连接数据库集群 并执行带有/*polar4ai*/的SQL语句来使用该功能。其架构图如下所示：说明 PolarDB 数据库代理版本（Proxy）需为2.7.5及以上，如何查看和升级当前数据库代理版本，请参见 小版本升级。除普通集群具有的存储功能...
混淆矩阵
混淆矩阵（Confusion Matrix）适用于监督学习，与无监督学习中的匹配矩阵对应。在精度评价中，混淆矩阵主要用于比较分类结果和实际测量值，可以将分类结果的精度显示在一个矩阵中。本文为您介绍混淆矩阵组件的配置方法。使用限制 支持的...
利用DCGM实现GPU的性能分析
NVIDIA GPU上存在一些硬件计数器，这些计数器可以用来收集一些设备级别的性能指标，例如GPU利用率、内存使用情况等。借助NVIDIA提供的NVML（NVIDIA Management Library）库或DCGM（Data Center GPU Manager）工具能够查询这些硬件层提供的...
标签传播聚类
标签传播算法LPA（Label Propagation Algorithm）是基于图的半监督学习方法，其基本思路是节点的标签（community）依赖其相邻节点的标签信息，影响程度由节点相似度决定，并通过传播迭代更新达到稳定。标签传播聚类组件能够输出图中所有...
结果字段说明
evaluation_metrics.macro_f1 该实体训练的监督模型所计算的验证集macro f1 score值。evaluation_metrics.precision 该实体训练的监督模型所计算的验证集precision值。evaluation_metrics.recall 该实体训练的监督模型所计算的验证集recall...
人工神经网络
人工神经网络有多层和单层之分，每一层包含若干神经元，各神经元之间用带可变权重的有向弧连接，网络通过对已知信息的反复学习训练，通过逐步调整改变神经元连接权重的方法，达到处理信息、模拟输入输出之间关系的目的。计算逻辑原理 依据...
什么是推荐全链路深度定制开发平台PAI-REC
我们使用 PAI-EasyRec 来训练召回和排序模型，go语言的 PAI-REC引擎 来搭建推荐系统；DataWorks或者PAI-Designer来编辑和调度特征工程、样本和模型训练的代码；用BE/GraphCompute/hologres来存储用户特征、i2i查询、向量查询；用PAI-EAS来...
基于PAI产品的虚拟上装解决方案
作为计算能力中心和各种需求的交汇点，PAI不仅深入探究AIGC的基础能力和预训练模型，还积极应对各类垂直行业内容生成的挑战。本文以服饰领域为例介绍如何基于PAI的基础能力快速搭建端到端的虚拟上装解决方案。背景信息 您可以参考 快速上手...
类目预测功能介绍
什么是类目预测 搜索引擎效果优化在查询意图理解阶段有语义理解、命名实体识别、词权重分析、拼写纠错等手段，在排序阶段有文本相关度、人气模型、类目预测等手段。通过配置查询分析策略和调整排序公式，搜索效果优化有很大的提升空间，再...
Kohya使用方法与实践案例
不同的模型具有不同的侧重点，不同模型有各自的特色与适用领域，需要针对性地采用不同的训练数据集及训练策略来培养。其中，LoRA是一种轻量化的模型微调训练方法，在原大模型的基础上对模型微调，生成特定的角色或画风。LoRA模型训练方式...
Z-Score归一化
一、组件说明 在联邦学习任务中，Z-score归一...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Z-Score归一化】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
Min-Max归一化
一、组件说明 在联邦学习任务中，Min-Max归一...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Min-Max归一化】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
阿里云ES机器学习
创建推理机器学习任务 基于Data frame 的回归与分类 允许对结构化数据进行分类和回归分析，属于有监督学习，适合于那些已经明确了问题定义和相应数据标签的场景。自然语言处理（NLP）任务 可以与其他NLP和机器学习工具集成，以支持例如文本...
使用快速开始零代码部署微调Llama2系列大模型
如果您希望以零代码的方式在PAI上完成Llama2系列大语言模型的训练和推理，您可以使用快速开始的一键部署，快速启动Llama2系列模型的在线推理服务，并通过WebUI和API两种方式调用，或者使用自己的数据集对预训练模型进行微调训练，实现定制...
图文生图
本服务⽣成的所有内容均由AI模型⾃动⽣成，我们在训练过程中已通过将训练数据持续过滤来提升 内容理解和⽣成的准确性，但仍不排除其中有部分信息存在⼀定的敏感性、不合理或导致理解歧义的 问题存在，可能会引发您的不适。您可以通过钉钉群...
FeatureStore概述
FeatureStore作为PAI产品中心化的数据管理和共享平台，用于组织、存储和管理机器学习和AI训练中使用的特征数据。FeatureStore可以方便地向多人、多团队共享特征，保证离线在线特征数据的一致性，并提供高效的在线特征访问。什么是...
使用GPU拓扑感知调度（Tensorflow版）
本文介绍如何使用GPU拓扑感知调度来提升TensorFlow分布式训练的训练速度。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena。已安装GPU拓扑感知调度组件。...
使用AIACC-Training PyTorch版
自PyTorch 1.x发布迭代后，使用PyTorch原生自带的DDP进行分布式训练逐渐形成了主流。本文为您介绍如何使用AIACC-Training，对基于PyTorch框架搭建的模型进行分布式训练加速的方法，以及可能遇到的问题和解决办法。适配PyTorch DDP API...
SmartData常见问题
有如下两种方式：MaxCompute数仓作业将数据通过MaxCompute外表方式写入至OSS，然后在训练集群通过JindoFS缓存模式和JindoFuse来加载训练。通过JindoTable从MaxCompute拉取数据写入至JindoFS缓存模式，然后使用JindoFuse来加载训练。基于...
Label Encoder
希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Label Encoder】的输入桩中，以此来保证训练数据和预测数据的一致性，映射关系依然为红色、绿色、蓝色）->（0、1、2）。...
数据标注
除了通过JSON文件来创建数据集的方式，如果您暂时没有标注数据，也可以通过我们的标注平台来标注数据。接下来，通过一个例子来演示标注平台的使用。在第一步创建刚刚创建好的项目中，选择创建标注任务 注意：目前仅支持UTF-8编码方式的数据...
使用GPU拓扑感知调度（Pytorch版）
本文介绍如何使用GPU拓扑感知调度来提升PyTorch分布式训练的训练速度。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建Kubernetes托管版集群。已安装 Arena。已安装GPU拓扑感知调度组件。系统...
横向LabelEncoder
希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Homo Label Encoder】的输入桩中，以此来保证训练数据和预测数据的一致性，映射关系依然为红色、绿色、蓝色）->（0、1、2）。...
语义意图增删改查
填写包含语句 包含语句，即用不同表达方式却可以归结为同一意图的语句，是意图模型训练的基础数据。如“客服-反怼反问”意图常见的“包含语句”有：“你这都不清楚吗？这么简单你也要来问？就你专业是吧？你对这个问题没有自己的理解吗？...
在FeatureStore中使用自动特征工程（AutoFE）
特征选择 当特征个数超过800列时，对后面特征分析和模型训练的性能有一定的影响，推荐使用GBDT对原始特征做初步评估筛选。特征分析 对特征进行统计分析、组合生成和用SAFE选择，生成新的特征集合。统计分析：通过多个重要统计指标（均值/...
分箱
一、组件说明 分箱（Binning）是一种数据预处理方法，...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【分箱】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
机器阅读理解解决方案
start_position_character 模型存储路径 配置OSS Bucket中的目录，用来存储机器阅读理解模型训练或微调后生成的模型文件。oss:/exampleBucket.oss-cn-shanghai-internal.aliyuncs.com/exampledir 说明 需要修改为您使用的OSS路径。参数设置...
横向分箱
一、组件说明 横向分箱（HomoBinning），是一种横向...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【横向分箱】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
Lasso回归训练
可视化配置组件参数 输入桩 输入桩（从左到右）数据类型 建议上游组件 是否必选 数据 无 读数据表 特征工程 数据预处理 是 模型 Lasso模型（用做增量训练）读数据表（模型数据表）Lasso回归训练 否 组件参数 页签 参数 描述 字段设置 标签...
关键词抽取和文本摘要（抽取式）
洗洁精+白醋很多主妇其实都用过洗洁精来清洗油烟机，可能不得要领，清洁程度不一，小哥个人建议用清洁精+白醋，用来擦洗油烟机的面板和油盒，清洗油盒时，需要将油盒拿下来浸泡在洗洁精的温水中，浸泡半个小时左后，用抹布擦拭，可以看到...
One-Hot编码
希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【One-Hot】的输入桩中，以此来保证训练数据和预测数据的一致性，映射关系依然保持不变，为“红色”->[0,0,1]，“蓝色”->[0,1,0]...
百川开源大语言模型
正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数越大，占用显存会越多，同时单步训练速度会越慢，但是训练效果会越好 7b模型支持[1,2,4,8,16,32]13b模型支持[1,2,4,8,16]learning_rate Float ...
百川开源大语言模型
正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数越大，占用显存会越多，同时单步训练速度会越慢，但是训练效果会越好 7b模型支持[1,2,4,8,16,32]13b模型支持[1,2,4,8,16]learning_rate Float ...
横向One-Hot编码
希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【横向One-Hot】的输入桩中，以此来保证训练数据和预测数据的一致性，映射关系依然保持不变，为“红色”->[0,0,1]，“蓝色”->[0,1...
EasyCkpt：AI大模型高性能状态保存恢复
如果PyTorch大模型训练场景的任务运行失败，您可以使用EasyCkpt保存的最新的Checkpoint来重新运行任务，无需重复计算，减少时间和成本的浪费。EasyCkpt是PAI为PyTorch大模型训练场景而开发的高性能Checkpoint框架，通过实现接近0开销的模型...
ChatGLM开源双语对话语言模型
正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数越大，占用显存会越多，同时单步训练速度会越慢，但是训练效果会越好[1,2,4,8,16,32]learning_rate Float 学习率，决定了每次参数更新时参数...
ChatGLM开源双语对话语言模型
正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数越大，占用显存会越多，同时单步训练速度会越慢，但是训练效果会越好[1,2,4,8,16,32]learning_rate Float 学习率，决定了每次参数更新时参数...
LLaMa2 大语言模型
1到10之间的整数，默认为1 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数越大，占用显存会越多，同时单步训练速度会越慢，但是训练效果会越好 7b模型支持[1,2,4,8,16,32]13b模型支持[1,2,4,8,16]...
- 产品推荐
- 这些文档可能帮助您