PAI端到端文字识别训练
PAI-EasyVision提供端到端文字识别...FLOAT 0.01 num_train_images 否 总的训练样本数。如果使用自己生成的TFRecord，则需要指定该参数。INT 0 label_map_path 否 类别映射文件。如果使用自己生成的TFRecord，则需要指定该参数。STRING””
PAI图像检测训练
PAI-EasyVision提供图像检测模型的...FLOAT 0.01 num_train_images 否 总的训练样本数。如果使用自己生成的TFRecord，则需要指定该参数。INT 0 label_map_path 否 类别映射文件。如果使用自己生成的TFRecord，则需要指定该参数。STRING””
GBDT二分类V2
0.6 叶节点最少样本数 否 训练每个树时，各个叶子节点至少包含的样本数量。500 最大分箱个数 否 连续特征进行离散分箱时的最大分箱个数。该值越大，进行节点分裂时越精确，但计算代价越大。32 最多类别数 否 类别型特征最多允许的类别个数...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
基于eRDMA增强型实例部署AI训练集群
AI训练场景架构 目前AI分布式训练场景主要的架构如下图所示。主流AI框架底层通过多种不同的通信后端进行多机或多卡通信，例如：MPI/Gloo后端多用于CPU的控制流通信。NCCL是由NVIDIA开源的GPU多机多卡实现，旨在提供高效的大数据流通信。...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
支持向量回归算法（SVR）
sigmoid：使用该函数作为核函数时，效果类似多层神经网络。c 松弛系数的惩罚项系数。取值为大于0的浮点数，可不填。默认值为1。说明 如果数据质量较差，可以适当降低惩罚项 c 的值。epsilon SVR损失函数的阈值。当预测值与实际值的差值等于...
Kohya使用方法与实践案例
此时您可以选择借助神经网络，完成对所有图片批量生成文本描述的工作。您也可以在Kohya中选择使用一个叫做BLIP的图像打标模型。打标 数据集 在Kohya-SS页面，选择 Utilities>Captioning>BLIP Captioning。选择已创建的数据集里面上传的图片...
模型仓库（FastNN）
PAI模型仓库FastNN（Fast Neural Networks）是一个基于PAISoar的分布式神经网络仓库。目前FastNN已经支持了Inception、Resnet、VGG等经典算法，后续会逐步开放更多的先进模型。目前FastNN已经内置于 Designer 平台中，并且可以直接在该平台...
视频分类训练
算法简介 视频分类模块提供主流的3D卷积神经网络和Transformer模型用于视频分类任务的训练，目前已经支持的模型包括X3D系列的X3D-XS、X3D-M及X3D-L和Transformer模型的swin-t、swin-s、swin-b、swin-t-bert，其中swin-t-bert支持视频加文本...
性能指标
LogisticRegressionWithHe 10万 100维*100维 训练 50分钟 神经网络MLP 100万 100维*100维 训练 30分钟 决策树-XGBoostWithDp 5亿 100维*100维 离线预测 50分钟 决策树-GBDTWithDp 5亿 100维*100维 离线预测 120分钟 线性回归-...
图像度量学习训练（raw）
无 总的训练迭代epoch轮数 是 所有样本训练完成一轮表示一个epoch。总的epoch轮数表示所有样本共训练多少轮。200 保存checkpoint的频率 否 保存模型文件的频率。取值为1表示1个epoch训练完成后保存一次模型。10 执行调优 读取训练数据线程...
图像分类训练（torch）
2 总的训练迭代epoch轮数 是 所有样本训练完成一轮表示一个epoch。总的epoch轮数表示所有样本共训练多少轮。1 保存checkpoint的频率 否 保存模型文件的频率。取值为1表示1个epoch训练完成后保存一次模型。1 执行调优 每个GPU读取训练数据的...
图像关键点训练
32 总的训练迭代epoch轮数 是 所有样本训练完成一轮表示一个epoch。总的epoch轮数表示所有样本共训练多少轮。200 保存checkpoint的频率 否 保存模型文件的频率。取值为1表示1个epoch训练完成后保存一次模型。1 执行调优 优化方法 是 模型...
概述
深度神经网络在图像分析和自然语言处理等学科中取得了前所未有的进步。强化学习成为补充传统监督学习的强大范式。然而，在目前的数据驱动的智能应用中，数据、特征和模型仍处于割裂状态。首先，数据工程师通过手工编写流程进行数据清洗和...
通义千问Qwen全托管灵骏最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现大语言模型（Qwen-7B、Qwen-14B和Qwen-72B）的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Qwen-7B模型为例，为您详细介绍该方案的开发流程。...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
组件参考：所有组件汇总
组件类型 组件 描述 自定义组件 自定义组件 支持在AI资产管理中创建自定义组件，自定义组件创建成功后，您可以在Designer中将该组件与官方组件串联使用进行模型训练。源/目标 读OSS数据 该组件用来读取对象存储OSS Bucket路径下的文件或...
Mixtral-8x7B稀疏大模型最佳实践
本方案旨在帮助大模型开发者快速上手灵骏智算平台，实现稀疏大语言模型Mixtral的高效分布式训练、三阶段指令微调、模型离线推理和在线服务部署等完整的开发流程。以Mixtral-8x7B模型为例，为您详细介绍该方案的开发流程。前提条件 本方案以...
页面性能
样本数 页面采集的样本数量 平均加载时长 该页面所有样本加载时间的平均值 慢加载次数 该页面所有样本加载时间大于3秒的数量 慢加载率 慢加载率=筛选条件下的慢加载次数/筛选条件下的样本数。页面详情 查看页面加载分布 根据筛选条件，展示...
任务中心
FeatureStore 为您提供任务中心功能，记录了数据离在线同步、训练样本导出等任务的日志详细信息，您可以在特征项目中的任务中心中查看当前项目的所有任务及任务状态。前提条件 已创建特征项目。操作详情请参见 新建项目。操作步骤 进入特征...
DBSCAN聚类
是 0.5[0,99999999]核心点邻域最小样本数 样本点要成为核心对象所需要的ϵ-邻域的样本数最小值。默认值是5，一般需要通过在多组值里面选择一个合适的阈值。通常和邻域的距离阈值一起调参。在“距离阈值”一定的情况下，“最小样本数”过大...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
简介
使用OSS中的数据作为机器学习的训练样本 通过XIHE SQL或者Spark SQL访问OSS数据 通过HDP 2.6 Hadoop读取和写入OSS数据 音视频转码 短视频 音视频转码 性能与扩展性 OSS性能与扩展性最佳实践 使用CDN加速OSS访问 使用ECS实例反向代理OSS ...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
模型说明
StructBERT小样本分类：基于StructBert-base，在xnli数据集（将英文数据集重新翻译得到中文数据集）上面进行了自然语言推理任务训练 适用场景：面向文本分类任务，尤其是多层级（最多3级）、标签数目大，训练样本少的低资源场景。...
AdagradDecay Optimizer
背景信息 超大规模模型的训练样本通常在10亿规模以上，且持续增量训练时间在一个月以上。为解决该问题，PAI-TF推出AdagradDecay优化器。开启AdagradDecay Optimizer优化器 使用AdagradDecay Optimizer优化器进行超大规模训练，需要定义 tf....
工具箱
用户通过设定分类器中的关键词或训练样本建立分类标准，完成对于已发布的自定义模板、信息抽取模型的自动匹配。用户可在分类器发布后，仅通过分类器接口实现多种类型业务数据的结构化识别及信息提取，省去单一模板或模型接口调用前数据人工...
工具箱
用户通过设定分类器中的关键词或训练样本建立分类标准，完成对于已发布的自定义模板、信息抽取模型的自动匹配。用户可在分类器发布后，仅通过分类器接口实现多种类型业务数据的结构化识别及信息提取，省去单一模板或模型接口调用前数据人工...
使用须知
三、确认已了解并开通如下资源 以下为完成离线建模所需云产品 序号 云资源名称 用途 1 云原生大数据计算服务MaxCompute 数据清洗、特征工程、准备训练样本 2 大数据开发治理平台DataWorks 数据清洗、特征工程、模型训练和评估、更新模型、...
应用案例
它就是在分类之前通过目视判读和野外调查，对遥感图像上某些样区中影像地物的类别属性有了先验知识，对每一种类别选取一定数量的训练样本，计算机计算每种训练样区的统计或其他信息，同时用这些种子类别对判决函数进行训练，使其符合于对各...
使用OSS中的数据作为机器学习的训练样本
本文介绍如何将对象存储OSS里面的数据作为 PAI 的训练样本。说明 本文由 龙临@阿里云 提供，仅供参考。背景信息 本文通过 OSS 与 PAI 的结合，为一家传统的文具零售店提供决策支持。本文涉及的具体业务场景（场景与数据均为虚拟）如下：...
评分卡信用评分
本文基于信用卡消费记录，为您介绍如何通过PAI提供的金融组件，构建评分卡建模方案。背景信息 评分卡是信用风险评估和互联网金融领域常用的建模...相关文档 关于算法组件更详细的内容介绍，请参见：拆分 分箱 评分卡训练 样本稳定指数（PSI）
启动分析
参数指标 说明 横坐标 启动耗时 纵坐标 启动耗时样本数 查看启动次数和平均时间 根据筛选条件，展示崩溃分析折线图明细。参数指标 说明 启动平均时间 时间粒度内所有启动耗时样本的平均值。启动次数 时间粒度内所有启动耗时样本的数量。...
Callback 回调接口
一个训练样本S_i（对应推荐请求R_i）中的实时特征，需要是推荐请求R_i时刻的user和item特征，因此最佳保证实时特征是在推荐请求打到推荐服务的时候，在算法计算推荐结果的同时，把recomid+user的实时特征+item的实时特征落入日志中（如...
主机监控
系统磁盘空闲字节数 系统磁盘使用字节数 Load（负载）系统负载数 网络流量 网络接收的字节数 网络发送的字节数 网络数据包 每分钟网络接收的报文数 每分钟网络发送的报文数 每分钟网络接收的错误数 每分钟网络丢弃的报文数 功能入口 登录 ...
主机监控
系统磁盘空闲字节数 系统磁盘使用字节数 Load（负载）系统负载数 网络流量 网络接收的字节数 网络发送的字节数 网络数据包 每分钟网络接收的报文数 每分钟网络发送的报文数 每分钟网络接收的错误数 每分钟网络丢弃的报文数 功能入口 登录 ...
主机监控
系统磁盘空闲字节数 系统磁盘使用字节数 Load（负载）系统负载数 网络流量 网络接收的字节数 网络发送的字节数 网络数据包 每分钟网络接收的报文数 每分钟网络发送的报文数 每分钟网络接收的错误数 每分钟网络丢弃的报文数
主机监控
系统磁盘空闲字节数 系统磁盘使用字节数 Load（负载）系统负载数 网络流量 网络接收的字节数 网络发送的字节数 网络数据包 每分钟网络接收的报文数 每分钟网络发送的报文数 每分钟网络接收的错误数 每分钟网络丢弃的报文数
- 产品推荐
- 这些文档可能帮助您