人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
PAI图像检测训练
PAI-EasyVision提供图像检测模型的...FLOAT 0.01 num_train_images 否 总的训练样本数。如果使用自己生成的TFRecord，则需要指定该参数。INT 0 label_map_path 否 类别映射文件。如果使用自己生成的TFRecord，则需要指定该参数。STRING””
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
基于eRDMA增强型实例部署AI训练集群
AI训练场景架构 目前AI分布式训练场景主要的架构如下图所示。主流AI框架底层通过多种不同的通信后端进行多机或多卡通信，例如：MPI/Gloo后端多用于CPU的控制流通信。NCCL是由NVIDIA开源的GPU多机多卡实现，旨在提供高效的大数据流通信。...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
Kohya使用方法与实践案例
此时您可以选择借助神经网络，完成对所有图片批量生成文本描述的工作。您也可以在Kohya中选择使用一个叫做BLIP的图像打标模型。打标 数据集 在Kohya-SS页面，选择 Utilities>Captioning>BLIP Captioning。选择已创建的数据集里面上传的图片...
性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
模型仓库（FastNN）
PAI模型仓库FastNN（Fast Neural Networks）是一个基于PAISoar的分布式神经网络仓库。目前FastNN已经支持了Inception、Resnet、VGG等经典算法，后续会逐步开放更多的先进模型。目前FastNN已经内置于 Designer 平台中，并且可以直接在该平台...
支持向量机
对于训练样本带有噪声的情况，一般采用后者，把训练样本集中错误分类的样本作为噪声 否 1.0[0,99999999]核函数类型 指定算法中要使用的内核类型 否 径向 线性 多项式 径向 sigmoid 核函数系数 核函数系数方式为手动设定时需配置 否 1[0,...
任务中心
FeatureStore 为您提供任务中心功能，记录了数据离在线同步、训练样本导出等任务的日志详细信息，您可以在特征项目中的任务中心中查看当前项目的所有任务及任务状态。前提条件 已创建特征项目。操作详情请参见 新建项目。操作步骤 进入特征...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
简介
使用OSS中的数据作为机器学习的训练样本 通过XIHE SQL或者Spark SQL访问OSS数据 通过HDP 2.6 Hadoop读取和写入OSS数据 音视频转码 短视频 音视频转码 性能与扩展性 OSS性能与扩展性最佳实践 使用CDN加速OSS访问 使用ECS实例反向代理OSS ...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
数据湖生态接入
HDFS服务中的数据 Impala Impala以EMR集群的方式查询OSS-HDFS服务中的数据 MaxCompute 基于OSS+MaxCompute构建数据仓库 PAI 使用OSS中的数据作为机器学习的训练样本 Presto Presto以EMR集群的方式查询OSS-HDFS服务中的数据 SLS 通过SLS完成...
模型说明
StructBERT小样本分类：基于StructBert-base，在xnli数据集（将英文数据集重新翻译得到中文数据集）上面进行了自然语言推理任务训练 适用场景：面向文本分类任务，尤其是多层级（最多3级）、标签数目大，训练样本少的低资源场景。...
AdagradDecay Optimizer
背景信息 超大规模模型的训练样本通常在10亿规模以上，且持续增量训练时间在一个月以上。为解决该问题，PAI-TF推出AdagradDecay优化器。开启AdagradDecay Optimizer优化器 使用AdagradDecay Optimizer优化器进行超大规模训练，需要定义 tf....
排序
5 打散 rec_sln_demo_sorting 模型的30天样本数据形成训练样本。6 汇总 rec_sln_demo_rec_sln_demo_sorting_30d_binning_v2 表和 rec_sln_demo_rec_sln_demo_sorting_30d_count_v2 表结果，计算Feature配置信息和Step配置信息。7 根据组件...
工具箱
用户通过设定分类器中的关键词或训练样本建立分类标准，完成对于已发布的自定义模板、信息抽取模型的自动匹配。用户可在分类器发布后，仅通过分类器接口实现多种类型业务数据的结构化识别及信息提取，省去单一模板或模型接口调用前数据人工...
工具箱
用户通过设定分类器中的关键词或训练样本建立分类标准，完成对于已发布的自定义模板、信息抽取模型的自动匹配。用户可在分类器发布后，仅通过分类器接口实现多种类型业务数据的结构化识别及信息提取，省去单一模板或模型接口调用前数据人工...
证件识别SDK
准确度高：采用Focal CTC Loss来解决常见字和生僻字训练样本不均衡的问题，在证件类场景整体识别率达到98%以上。应用场景 离线证件识别：银行卡、身份证、驾驶证等离线证件识别场景，基于手机或安卓类硬件集成该功能，实现证件的高效识别。...
K近邻
计算逻辑原理 最近邻方法的原理是找到距离新点最近的预定义数量的训练样本，并从中预测标签。样本数量可以是用户定义的常数（k-最近邻学习），也可以根据点的局部密度（基于半径的邻居学习）而变化。通常，距离可以是任何度量标准：标准...
数据视图
页签 参数 描述 字段设置 选择特征列 用来表现训练样本数据特征的列。选择目标列 用来进行训练样本数据的目标列。枚举特征 勾选的特征将被视作枚举特征处理。k:v，k:v稀疏数据格式 是否采用KV格式的稀疏数据。参数设置 连续特征离散区间数 ...
使用须知
三、确认已了解并开通如下资源 以下为完成离线建模所需云产品 序号 云资源名称 用途 1 云原生大数据计算服务MaxCompute 数据清洗、特征工程、准备训练样本 2 大数据开发治理平台DataWorks 数据清洗、特征工程、模型训练和评估、更新模型、...
梯度提升决策树算法（GBDT）
subsample 训练样本占总样本的比例。取值范围：0~1。默认值为1。说明 如果该值小于1，则只有这部分比例的样本会参与训练。max_features 训练所用特征占总特征的比例。取值为浮点数。取值范围：0~1。默认值为1。max_depth 树的最大深度。...
相似标签自动归类
上述结果中，系统自动将与地理相关的标签进行了归类，但是混入了 坚果 等明显与类别不符的标签，可能是训练样本数量不足导致的。如果训练样本足够大，则标签聚类结果会非常准确。相关文档 关于算法组件更详细的内容介绍，请参见：K均值聚类...
应用案例
它就是在分类之前通过目视判读和野外调查，对遥感图像上某些样区中影像地物的类别属性有了先验知识，对每一种类别选取一定数量的训练样本，计算机计算每种训练样区的统计或其他信息，同时用这些种子类别对判决函数进行训练，使其符合于对各...
DSSM向量召回
10 打散DSSM_Recall模型的30天样本数据形成训练样本。11 根据组件编号8节点的计算结果，在EasyRec配置文件中填充配置信息。12 模型训练需要先执行一次组件编号11节点，生成EasyRec配置文件。13 使用切分后的物品模型，对物品特征表进行推理...
数据诊断
用户偏好统计周期分析 期望通过调整k找到曾现率是80%或者90%的k'值，用于后续特征工程计算用户偏好特征和统计训练样本天数。当k'天的曾现率低于90%，则对于剩下的10%用户需要考虑冷启动策略。两表关联分析 用于检查行为数据的可用性、id...
使用OSS中的数据作为机器学习的训练样本
本文介绍如何将对象存储OSS里面的数据作为 PAI 的训练样本。说明 本文由 龙临@阿里云 提供，仅供参考。背景信息 本文通过 OSS 与 PAI 的结合，为一家传统的文具零售店提供决策支持。本文涉及的具体业务场景（场景与数据均为虚拟）如下：...
评分卡信用评分
本文基于信用卡消费记录，为您介绍如何通过PAI提供的金融组件，构建评分卡建模方案。背景信息 评分卡是信用风险评估和互联网金融领域常用的建模...相关文档 关于算法组件更详细的内容介绍，请参见：拆分 分箱 评分卡训练 样本稳定指数（PSI）
Callback 回调接口
一个训练样本S_i（对应推荐请求R_i）中的实时特征，需要是推荐请求R_i时刻的user和item特征，因此最佳保证实时特征是在推荐请求打到推荐服务的时候，在算法计算推荐结果的同时，把recomid+user的实时特征+item的实时特征落入日志中（如...
LightGBM算法
subsample 训练样本占所有样本的比例。取值为浮点数。取值范围：0~1。默认值为1。说明 如果取值小于1，则只有这部分比例值的样本会参与训练。max_features 训练特征占所有特征的比例。取值为浮点数。取值范围：0~1。默认值为1。max_depth ...
DropoutNet 模型的训练和部署
准备离线训练样本 使用模板生成sql代码，构建离线训练样本。模板配置：{"cold_start_recall":{"model_name":"cold_start","model_type":"dropoutnet","label":{"name":"is_click","selection":"max(if(event=\"click\",1,0))","type":...
散点图
参数 描述 选择特征列 选择用来表现训练样本数据特征的列。分类标签列 标签字段。抽样样本数 抽样的样本数量。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见 SQL脚本。PAI-name...
技术分析函数
算法的样本大小。这基本上是对算法的输出有显著影响的历史样本的数量。例如，2 表示当前的数据点和前一个数据点。算法使用指数衰减率来决定历史数据点的权重，通常称为 alpha(α)。参数 PERIOD 控制衰减率。请注意，历史数据点仍然可以产生...
基于eGPU优化套件的ResNet50模型训练和推理
本文以卷积神经网络模型ResNet50的训练和推理为例，为您介绍如何通过Docker或Kubernetes使用eGPU优化套件，进行GPU容器虚拟化和资源共享。本实践中的ResNet50模型基于NVIDIA官方开源代码DeepLearningExamples实现。步骤一：准备模型和数据...
FeatureStore Python SDK
本文为您介绍通过FeatureStore整合数据特征并进行模型离线训练，以及后续的上线服务操作流程。背景信息 特征平台是用来生产、共享和管理机器学习模型特征的存储库，可以方便地向多人、多团队共享特征，保证离线在线的一致性，并提供高效的...
使用FeatureStore Python SDK搭建推荐系统
本文主要介绍使用FeatureStore Python SDK完成特征平台在推荐场景中全流程的创建以及上线的过程。前提条件 在开始执行操作前，请确认您已完成以下准备工作。依赖产品 具体操作 人工智能平台 PAI 已开通PAI服务并创建PAI工作空间，操作详情...
- 产品推荐
- 这些文档可能帮助您