PAI端到端文字识别训练
PAI-EasyVision提供端到端文字识别...FLOAT 0.01 num_train_images 否 总的训练样本数。如果使用自己生成的TFRecord，则需要指定该参数。INT 0 label_map_path 否 类别映射文件。如果使用自己生成的TFRecord，则需要指定该参数。STRING””
性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
支持向量机
对于训练样本带有噪声的情况，一般采用后者，把训练样本集中错误分类的样本作为噪声 否 1.0[0,99999999]核函数类型 指定算法中要使用的内核类型 否 径向 线性 多项式 径向 sigmoid 核函数系数 核函数系数方式为手动设定时需配置 否 1[0,...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
模型说明
StructBERT小样本分类：基于StructBert-base，在xnli数据集（将英文数据集重新翻译得到中文数据集）上面进行了自然语言推理任务训练 适用场景：面向文本分类任务，尤其是多层级（最多3级）、标签数目大，训练样本少的低资源场景。...
AdagradDecay Optimizer
背景信息 超大规模模型的训练样本通常在10亿规模以上，且持续增量训练时间在一个月以上。为解决该问题，PAI-TF推出AdagradDecay优化器。开启AdagradDecay Optimizer优化器 使用AdagradDecay Optimizer优化器进行超大规模训练，需要定义 tf....
排序
5 打散 rec_sln_demo_sorting 模型的30天样本数据形成训练样本。6 汇总 rec_sln_demo_rec_sln_demo_sorting_30d_binning_v2 表和 rec_sln_demo_rec_sln_demo_sorting_30d_count_v2 表结果，计算Feature配置信息和Step配置信息。7 根据组件...
工具箱
用户通过设定分类器中的关键词或训练样本建立分类标准，完成对于已发布的自定义模板、信息抽取模型的自动匹配。用户可在分类器发布后，仅通过分类器接口实现多种类型业务数据的结构化识别及信息提取，省去单一模板或模型接口调用前数据人工...
工具箱
用户通过设定分类器中的关键词或训练样本建立分类标准，完成对于已发布的自定义模板、信息抽取模型的自动匹配。用户可在分类器发布后，仅通过分类器接口实现多种类型业务数据的结构化识别及信息提取，省去单一模板或模型接口调用前数据人工...
K近邻
计算逻辑原理 最近邻方法的原理是找到距离新点最近的预定义数量的训练样本，并从中预测标签。样本数量可以是用户定义的常数（k-最近邻学习），也可以根据点的局部密度（基于半径的邻居学习）而变化。通常，距离可以是任何度量标准：标准...
GBDT二分类V2
0.05 训练样本比例 否 训练每棵树时，样本的采样比例，范围为(0,1]。0.6 训练特征比例 否 训练每棵树时，特征的采样比例，范围为(0,1]。0.6 叶节点最少样本数 否 训练每个树时，各个叶子节点至少包含的样本数量。500 最大分箱个数 否 连续...
使用须知
三、确认已了解并开通如下资源 以下为完成离线建模所需云产品 序号 云资源名称 用途 1 云原生大数据计算服务MaxCompute 数据清洗、特征工程、准备训练样本 2 大数据开发治理平台DataWorks 数据清洗、特征工程、模型训练和评估、更新模型、...
梯度提升决策树算法（GBDT）
subsample 训练样本占总样本的比例。取值范围：0~1。默认值为1。说明 如果该值小于1，则只有这部分比例的样本会参与训练。max_features 训练所用特征占总特征的比例。取值为浮点数。取值范围：0~1。默认值为1。max_depth 树的最大深度。...
应用案例
它就是在分类之前通过目视判读和野外调查，对遥感图像上某些样区中影像地物的类别属性有了先验知识，对每一种类别选取一定数量的训练样本，计算机计算每种训练样区的统计或其他信息，同时用这些种子类别对判决函数进行训练，使其符合于对各...
DSSM向量召回
10 打散DSSM_Recall模型的30天样本数据形成训练样本。11 根据组件编号8节点的计算结果，在EasyRec配置文件中填充配置信息。12 模型训练需要先执行一次组件编号11节点，生成EasyRec配置文件。13 使用切分后的物品模型，对物品特征表进行推理...
使用OSS中的数据作为机器学习的训练样本
本文介绍如何将对象存储OSS里面的数据作为 PAI 的训练样本。说明 本文由 龙临@阿里云 提供，仅供参考。背景信息 本文通过 OSS 与 PAI 的结合，为一家传统的文具零售店提供决策支持。本文涉及的具体业务场景（场景与数据均为虚拟）如下：...
评分卡信用评分
本文基于信用卡消费记录，为您介绍如何通过PAI提供的金融组件，构建评分卡建模方案。背景信息 评分卡是信用风险评估和互联网金融领域常用的建模...相关文档 关于算法组件更详细的内容介绍，请参见：拆分 分箱 评分卡训练 样本稳定指数（PSI）
LightGBM算法
subsample 训练样本占所有样本的比例。取值为浮点数。取值范围：0~1。默认值为1。说明 如果取值小于1，则只有这部分比例值的样本会参与训练。max_features 训练特征占所有特征的比例。取值为浮点数。取值范围：0~1。默认值为1。max_depth ...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
长文档信息抽取
在图像质量较好情况下，通过100+训练样本标注，调优后模型识别准确率可超85%。功能优势 高精度，基于阿里云强大的预训练模型，经过调优训练的多版式模型识别准确率可达85%以上。少样本，仅需标注少量数据即可完成模型优化迭代，且模型具有...
长文档信息抽取
在图像质量较好情况下，通过100+训练样本标注，调优后模型识别准确率可超85%。功能优势 高精度，基于阿里云强大的预训练模型，经过调优训练的多版式模型识别准确率可达85%以上。少样本，仅需标注少量数据即可完成模型优化迭代，且模型具有...
表格信息抽取
在图像质量较好情况下，通过100+训练样本标注，调优后模型识别准确率可超95%。同时 工具箱 中还提供分类器管理工具与字段类型管理工具，支持用户通过同一接口完成不同类型数据的自动分类路由与高精度识别。功能优势 高精度，基于阿里云强大...
表格信息抽取
在图像质量较好情况下，通过100+训练样本标注，调优后模型识别准确率可超95%。同时 工具箱 中还提供分类器管理工具与字段类型管理工具，支持用户通过同一接口完成不同类型数据的自动分类路由与高精度识别。功能优势 高精度，基于阿里云强大...
单据票证信息抽取
在图像质量较好情况下，通过100+训练样本标注，调优后模型识别准确率可超95%。同时 工具箱 中还提供分类器管理工具与字段类型管理工具，支持用户通过同一接口完成不同版式数据的自动分类路由与高精度识别。功能优势 高精度，基于阿里云强大...
单据票证信息抽取
在图像质量较好情况下，通过100+训练样本标注，调优后模型识别准确率可超95%。同时 工具箱 中还提供分类器管理工具与字段类型管理工具，支持用户通过同一接口完成不同版式数据的自动分类路由与高精度识别。功能优势 高精度，基于阿里云强大...
PAI图像检测训练
PAI-EasyVision提供图像检测模型的...FLOAT 0.01 num_train_images 否 总的训练样本数。如果使用自己生成的TFRecord，则需要指定该参数。INT 0 label_map_path 否 类别映射文件。如果使用自己生成的TFRecord，则需要指定该参数。STRING””
图像度量学习训练（raw）
0.03 训练batch_size 是 训练的批大小，即模型训练过程中，每次迭代（每一步）训练的样本数量。无 总的训练迭代epoch轮数 是 所有样本训练完成一轮表示一个epoch。总的epoch轮数表示所有样本共训练多少轮。200 保存checkpoint的频率 否 ...
图像分类训练（torch）
[30,60,90]训练batch_size 是 训练的批大小，即模型训练过程中，每次迭代（每一步）训练的样本数量。2 评估batch_size 是 评估（验证）的批大小，即模型验证过程中，每次迭代（每一步）加载的样本数量。2 总的训练迭代epoch轮数 是 所有...
图像关键点训练
170,200 训练batch_size 是 训练的批大小，即模型训练过程中，每次迭代（每一步）训练的样本数量。32 评估batch_size 是 评估（验证）的批大小，即模型验证过程中，每次迭代（每一步）加载的样本数量。32 总的训练迭代epoch轮数 是 所有...
FeatureStore Python SDK
通过离线数据源可以生成样本数据TrainingSet，用于模型训练；也可以生成batch prediction数据，用于批量预测。配置在线数据源（Onlinestore）在线预测时，需要低延迟获取特征数据，在线数据源提供在线特征数据的存储。目前优先支持Hologres...
OCR文档自学习概述
本平台采用少样本训练、智能预标注，视觉-语义联合学习等前沿AI技术，支持客户低成本实现个性化场景的文档数字化和信息化业务。提供用户可控的定制化工具，帮助用户实现其业务场景下的模型定制，实现业务数据驱动AI服务。多模态信息抽取，...
OCR文档自学习概述
本平台采用少样本训练、智能预标注，视觉-语义联合学习等前沿AI技术，支持客户低成本实现个性化场景的文档数字化和信息化业务。提供用户可控的定制化工具，帮助用户实现其业务场景下的模型定制，实现业务数据驱动AI服务。多模态信息抽取，...
支持向量回归算法（SVR）
sigmoid：使用该函数作为核函数时，效果类似多层神经网络。c 松弛系数的惩罚项系数。取值为大于0的浮点数，可不填。默认值为1。说明 如果数据质量较差，可以适当降低惩罚项 c 的值。epsilon SVR损失函数的阈值。当预测值与实际值的差值等于...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
概述
矩阵分解、深度神经网络模型等算法都可以生成用户和物品的embedding向量，然而常规的模型还是需要依赖用户和物品的交互行为数据来建模，并不能很好地泛化到冷启动的用户和物品上。现在也有一些可以用来为冷启动用户和物品生成embedding向量...
Kohya使用方法与实践案例
此时您可以选择借助神经网络，完成对所有图片批量生成文本描述的工作。您也可以在Kohya中选择使用一个叫做BLIP的图像打标模型。打标 数据集 在Kohya-SS页面，选择 Utilities>Captioning>BLIP Captioning。选择已创建的数据集里面上传的图片...
- 产品推荐
- 这些文档可能帮助您