模型评估
返回值定义 history：训练结果的历史记录，包括全局聚合的性能指标、本地训练集性能指标和验证集性能指标。History 结果示例 { 'alice':[0.2467046082019806,1.0],'bob':[0.32576555013656616,1.0],'_name_':['loss','accuracy'],'_global_...
工作原理
训练集的时间长度需大于12天，因为模型训练任务需要历史一周的数据做为特征工程的前提条件；验证集长度需大于3天，因为需要三天的数据给出验证报告，更好地说明模型的拟合程度、鲁棒性以及表现水平。特征工程：包括同环比特征、平移特征、...
支持向量机
是 0.2[0,1]测试集生成方式 根据选定方式，选取部分数据作为测试集，剩余部分作为训练集。随机：按比例随机从输入数据中截取n条数据作为测试集。头部：按比例将输入数据前n条数据作为测试集。尾部：按比例将输入数据后n条数据作为测试集。...
创建安全联邦学习任务（任务模式）
数据集比例划分：用于按比例随机划分训练集和测试集。单击 下一步，配置数据处理参数。参数 描述 算法分类 支持的算法分类为FL决策树、FL线性回归、FL逻辑回归、FL深度学习。FL决策树支持的算法为 XGBoostWithDp:Decision_Tree，用于二分类...
管理数据集
申请数据集编辑权限 当前用户拥有该空间的开发权限时，则该用户可以查看并使用该空间下所有数据集，仅支持编辑自己创建的数据集。当需要编辑其他人数据集时，需要申请数据集编辑权限。在 数据集 管理页面，按照下图指引，申请编辑数据集...
梯度提升决策树
剩余部分作为训练集。是 随机 随机 头部 尾部 特征重要性展示特征数 模型特征重要性展示时，实际展示的特征个数。只展示最重要的n个特征，默认10。若设置的展示数小于实际特征数，则展示实际特征数。是 10[1,20]其他参数 参数名 参数描述 ...
数据迁移和同步方案概览
使用MongoDB工具将自建数据库迁移至单节点实例 副本集 使用DTS迁移副本集架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据库迁移至副本集实例 分片集群 使用DTS迁移分片集群架构的自建MongoDB数据库上云 使用MongoDB工具将自建数据...
随机森林
是 0.2[0,1]测试集生成方式 根据选定方式，选取部分数据作为测试集，剩余部分作为训练集。随机：按比例随机从输入数据中截取n条数据作为测试集。头部：按比例将输入数据前n条数据作为测试集。尾部：按比例将输入数据后n条数据作为测试集。...
高斯过程回归
剩余部分作为训练集。是 随机 随机 头部 尾部 其他参数 参数名 参数描述 模型结果 可以查看建模成功后的模型评价结果或发布模型。内核：高斯核、二次有理核 参数名 参数描述 是否必填 参数默认值 参数范围 尺度 内核的长度尺度。否 1.0[0,...
决策树
是 0.2[0,1]测试集生成方式 根据选定方式，选取部分数据作为测试集，剩余部分作为训练集。随机：按比例随机从输入数据中截取n条数据作为测试集。头部：按比例将输入数据前n条数据作为测试集。尾部：按比例将输入数据后n条数据作为测试集。...
使用OSS中的数据作为机器学习的训练样本
本案例中的数据探索流程如下：本案例按8:2的比例将源数据拆分为训练集和测试集，其中一个订单中可能有多个item，故ID列选择order_id，保证含有多个item的订单不会被拆分，如下图所示：本案例中共有17个产品item。通过协同过滤算法组件，取...
基于回归算法实现农业贷款发放预测
区域 描述 ① 读数据表读入的数据为工作流数据集，包括：贷款训练集：共一百条历史贷款数据，包括 farmsize 及 rainfall 等特征，用于训练回归模型。其中 claimvalue 表示贷款收回的金额。贷款预测集：共七十一人，指今年申请贷款者。其中 ...
管理数据集
accessKeySecret secret：imagenet-oss-xxx secretKey：password secret 使用创建Secret操作中创建的 name，请参见 创建Secret。secretkey 使用创建Secret操作中创建的 password，请参见 创建Secret。为了控制数据集创建在待访问的节点上，...
结果字段说明
statistic.train_data_meta.train_anomaly_num 该实体下训练集的异常点个数。statistic.train_data_meta.train_data_length 该实体下训练集的长度。statistic.evaluation_data_meta.evaluation_anomaly_num 该实体下验证集的异常点个数。...
Quick BI数据集预览报错“Access denied for user ''@...
如果数据集，或者应用该数据集的图表，或者新添加数据源时报“using password:YES/NO”之类的错误，主要原因是数据库账号密码有问题，需要检查下是否是数据库连通性的问题，需要开发者或者管理员角色排查：首先需要知道该数据集用的哪个...
分布式通信框架gRPC+
使用 DLC 进行深度学习训练时，您可以使用gRPC+分布式训练，从而加速模型训练。本文介绍如何开启分布式通信框架gRPC+。gRPC+通过Sharing Nothing架构、BusyPolling机制、用户态零拷贝及Send/Recv融合等多种优化技术，降低了E2E的通信延时，...
梯度提升回归树
剩余部分作为训练集。是 随机 随机 头部 尾部 特征重要性展示特征数 模型特征重要性展示时，实际展示的特征个数。只展示最重要的n个特征，默认10。若设置的展示数小于实际特征数，则展示实际特征数。是 10[1,20]其他参数 参数名 参数描述 ...
LightGBM算法
automl_column 自动调参用来区别训练集和开发集的列名。使用时需要指定 automl_column 和 automl_test_tag，建议 automl_train_tag 的数据数量比 automl_test_tag 的数据数量多4～9倍。说明 当设置 automl_column 参数值后，会开启自动搜索...
API详情
必选 描述 job_name String Body 否 自定义任务名称，缺失该参数时，会使用自动生成的任务id替代 training_file_ids Array Body 是 训练集文件列表。validation_file_ids Array Body 否 验证集文件列表。model String Body 是 用于定制的...
保障离线在线一致性的CTR预估方案
数据集 Avazu是经典的CTR点击率预估数据集，PAI使用了Avazu的一个子集（包括20万条样本数据：训练集16万条；预测集4万条）构建点击率预估流程。数据详情请查看 Avazu，具体的字段如下。列名 类型 描述 id STRING 广告ID click DOUBLE 是否...
输入数据
使用限制 输入数据时需要拥有相应数据集或数据源的权限：若输入类型为数据集，必须有数据集使用权限。若输入类型为数据源表，必须有数据源使用权限。操作步骤 进入数据准备页面。在数据准备编辑页面，从左侧的节点操作区，拖拽 数据输入 至...
PLDA
LDA也是一种无监督学习算法，在训练时您无需手工标注的训练集，仅需要在文档集中指定主题的数量K即可（K即为PLDA参数topic）。LDA首先由David M.Blei、Andrew Y.Ng和Michael I.Jordan于2003年提出，在文本挖掘领域应用于文本主题识别、文本...
使用EasyTransfer进行文本分类
重要 评估集的列Schema必须与训练集的保持一致。无 STRING checkpointPath 是 模型CKPT存储路径所在的目录。例如./classify_models/model.ckpt-32。无 STRING batchSize 否 评估时的批处理大小。如果是多卡场景，则为每个GPU上的批处理大小...
人物形象训练API详情
重要 人物形象训练API调用需“申请体验”并通过后才可使用，否则API调用将返回错误...facechain-finetune training_file_ids Array Body 是 训练集文件列表，此处使用前述准备好的训练文件，支持url、file_id及两者混合"training_file_ids":[...
使用PAI Python SDK训练和部署PyTorch模型
本示例中，我们将使用PAI Python SDK，在PAI完成一个PyTorch模型的训练，然后使用训练获得的模型部署推理服务。主要流程包括：安装和配置SDK 安装PAI Python SDK，并配置访问密钥AccessKey，使用的工作空间，以及OSS Bucket。准备训练数据 ...
人物形象训练API详情
人物形象训练 说明 支持的领域/任务：aigc/facechain人物写真生成 对上传的图像...facechain-finetune training_file_ids Array Body 是 训练集文件列表，此处使用前述准备好的训练文件，支持url、file_id及两者混合"training_file_ids":[...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度...关于如何使用GPU拓扑感知调度，请参见以下文档：GPU拓扑感知调度概述 安装GPU拓扑感知组件 Tensorflow分布式训练使用GPU拓扑感知调度 Pytorch分布式训练使用GPU拓扑感知调度
节点池部署集最佳实践
关于部署集使用限制及配额的更多信息，请参见 部署集使用限制。部署集支持的实例规格族信息：说明 部分规格族只支持特定的部署集策略，您可以调用 DescribeDeploymentSetSupportedInstanceTypeFamily 获取各种部署集策略支持的实例规格族...
分箱
一、组件说明 分箱（Binning）是一种数据预处理方法，...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【分箱】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
横向分箱
一、组件说明 横向分箱（HomoBinning），是一种横向...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【横向分箱】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
OSS存储读写分离最佳实践
该示例为一个简单的深度学习模型训练，业务通过只读OSS存储卷从OSS的/data-dir目录中读取训练集，并通过OSS SDK将checkpoint写入OSS的/log-dir目录。通过ossfs实现读写 参考以下模板部署手写图像识别训练应用。该应用使用简单的Python编写...
DHCP选项集概述
DHCP选项集使用限制 配额名称 描述 默认限制 提升配额 无 单个账号支持创建的DHCP选项集的数量 10个 无法提升 单个DHCP选项集支持关联的VPC的数量 10个 单个VPC支持关联的DHCP选项集的数量 1个 单个DHCP选项集支持配置的域名的数量 1个 ...
入门概述
分片集群实例是基于多个副本集（每个副本集使用三节点主从模式+0~5个只读节点）组成，提供Mongos、Shard、ConfigServer三个组件，您可以自由地选择Mongos和Shard节点的个数和配置，无限扩展性能及存储空间，组建不同能力的分片集群实例。...
Doc2Vec
Doc2Vec算法将文档ID视为一个词来进行训练，其中句向量表示与该文档ID相对应的向量，词向量是在文档ID充当上下文时训练得到的向量。您可以通过Doc2Vec算法组件将文章映射为向量，输入为词汇表，输出为文档向量表、词向量表或词汇表。本文为...
PS-SMART二分类训练
无 metric 否 训练集的评估指标类型，输出在Logview文件Coordinator区域的 stdout。支持以下类型：logloss：对应可视化方式的 negative loglikelihood for logistic regression 类型。error：对应可视化方式中的 binary classification ...
PS-SMART多分类
无 metric 否 训练集的评估指标类型，输出在Logview文件Coordinator区域的 stdout。支持以下类型：mlogloss：对应可视化方式的 multiclass negative log likelihood 类型。merror：对应可视化方式中的 multiclass classification error ...
PAI图像检测训练
PAI-EasyVision提供图像检测模型的训练及预测功能，本文为您介绍如何通过PAI命令进行图像检测模型训练。PAI-EasyVision对配置进行了简化，您通过-Dparam_config 即可配置常用参数，无需了解PAI-EasyVision的配置文件规则和逻辑。如果需要...
人气模型
模型训练使用的特征 实体维度：商品/doc、品牌、商家、叶子类目、一级类目等。时间维度：1天、3天、7天、14天、30天、时间衰减加权等。行为维度：曝光、点击、收藏、加购、购买、评论、点赞等。统计维度：数量、人数、频率、点击率、转化率...
PS-SMART回归
支持以下类型：reg:linear：Linear Regression reg:logistic：Logistic Regression count:poisson：Poisson Regression reg:gamma：Gamma Regression reg:tweedie：Tweedie Regression reg:linear metric 否 训练集的评估指标类型，输出在...
PAI图像语义分割训练
PAI-EasyVision提供图像语义分割模型的训练及预测功能，本文为您介绍如何通过PAI命令进行图像语义分割模型训练。图像语义分割训练 图像分割组件实现了基于DeepLab-V3的语义分割模型，详情请参见 Encoder-Decoder with Atrous Separable ...
- 产品推荐
- 这些文档可能帮助您