新闻行业
用户自填 1、主要用于描述物品的特征，由业务方自行运营物品的标签库。2、算法模型会基于标签进行特征分析。3、单条新闻标签数不能超过100个，标签池总个数建议不超过50000个。4、如果标签属于业务敏感数据，建议映射到数字脱敏上报。数字...
One-Hot编码
一、组件说明 One-Hot编码是一种将离散特征转换成连续特征的方法。它将一个有m个取值的离散特征转换为m个0/1特征，每个特征表示原离散特征是否等于该取值。例如，假设原始数据集有一个表示“颜色”的特征，包含三个不同的取值：红色、绿色...
横向One-Hot编码
一、组件说明 横向One-Hot编码是一种将离散特征转换成连续特征的方法，用于横向场景。它将一个有m个取值的离散特征转换为m个0/1特征，每个特征表示原离散特征是否等于该取值。例如，假设原始数据集有一个表示“颜色”的特征，包含三个不同...
特征离散
特征离散算法组件是将连续特征按照一定的规则进行离散化。功能介绍 离散模块的功能如下：支持稠密...离散特征选择 nr_employed，离散方法选择 等距离散，离散区间个数配置为 5。运行结果 nr_employed 4.0 3.0 1.0 3.0 2.0 4.0 3.0 3.0 2.0 3.0
离散值特征分析
离散值特征分析统计离散特征的分布情况。包括gini，entropy，gini gain，information gain，information gain ratio等指标。计算每个离散值对应的gini，entropy，计算单列对应的gini gain，information gain，information gain ratio。gini...
在GPU实例上使用RAPIDS加速图像搜索任务
本文案例中，使用开源框架TensorFlow和Keras配置生产环境，然后使用ResNet50卷积神经网络完成图像的特征提取及向量化，最后使用RAPIDS cuML库的KNN算法实现BF方式的向量索引和检索。说明 BF（Brute Force）检索方法是一种百分百准确的方法...
Sambert语音合成
提供SAMBERT+NSFGAN深度神经网络算法与传统领域知识深度结合的文字转语音服务，兼具读音准确，韵律自然，声音还原度高，表现力强的特点。语音合成API基于达摩院改良的自回归韵律模型，具有推理速度快，合成效果佳的特点。开发者可以通过...
定制排序模型特征配置规范
公共属性 字段名 是否必选 含义 feature_name 是 feature_name会被当作最终输出的feature的前缀 feature_type 是 即下文中的类型 id_feature（离散ID特征）id feature是一个sparse feature，是一种最简单的离散特征，只是简单的将某个字段...
特征离散化
本文为您介绍特征离散化组件。功能说明 特征离散化组件可用于对离线数据做离散化特征处理。数据离散化是指将连续的数据进行分段，使其变为一段段离散化的区间。在工业场景中，为了易于增减特征，模型更加稳定，会将连续特征离散化，并且...
灵骏常见问题
您使用神经网络进行的许多计算都可以很容易地分解成更小的计算，各个小计算不会相互依赖。智能计算灵骏与普通GPU托管服务有什么不同？智能计算灵骏集群采用专为大规模AI计算场景所设计的系统架构和多层性能优化技术，能充分利用整体的计算...
one-hot编码
当离散特征较多时，建议输出kv格式，table仅支持1024列，超出将报错。节点个数 节点的个数。单个结点内存大小 单个结点的内存大小，单位为MB。删除最后一个枚举量的编码 该参数为 true 时，可以保证编码后数据的线性无关性。忽略待编码数据...
模型特征配置
Id Feature id feature是一个sparse feature，是一种最简单的离散特征，以 Multi-Hot 的方式生成特征向量。目前支持：vocab_list、num_buckets、hash_bucket_size、boundaries 四种配置方法。配置示例：{"FeatureConf":[{"feature_type":...
基于分箱组件实现连续特征离散化
特征离散是将连续的数据进行分段，使其变为多个离散化区间。针对该场景，PAI推出了分箱组件和数据转换模块组件。首先使用分箱组件将连续特征离散化，再使用 数据转换模块 将原始数据从连续值转换为离散值。本文为您介绍如何使用Designer...
机器学习
MADlib机器学习模块主要解决以下问题：分类/回归问题：提供一系列算法如K最近邻、MLP多层感知神经网络、SVM支持向量机、决策树等算法来解决二元分类/回归问题，集成最小二乘法、GLM广义线性回归、逻辑回归、多项式回归等模型来解决回归问题...
访问列存数据
重要 设置bucket分区字段时为避免数据倾斜，需确保bucket分区字段具有足够的离散特征。示例 创建表时仅指定bucket分区。示例一：USE lindorm_columnar;CREATE TABLE mydb.mytable(id INT NOT NULL,city STRING,name STRING,score DOUBLE)...
分箱
通过分箱组件可以进行特征离散化，即将连续的数据进行分段，使其变为多个离散化区间。分箱组件支持等频分箱、等宽分箱及自动分箱。配置组件 您可以使用以下任意一种方式，配置分箱组件参数。方式一：可视化方式 在 Designer 工作流页面配置...
云安全中心反弹Shell多维检测技术详解
特征匹配失效：在网络流量被加密后，特征匹配会失效。分类检测思想 因为表层对抗是无穷无尽的，检测需要由表及里，尽可能挖掘出更本质的解决方法。从检测的角度来看，反弹Shell的本质可以理解为：网络通信+命令执行+重定向方式。命令执行和...
Designer使用案例汇总
基于分箱组件实现连续特征离散化 介绍如何使用分箱组件进行连续特征离散化。人口普查统计案例（旧版）以人口普查数据为例，根据人物年龄、工作类型及教育程度等属性，快速构建学历对收入影响的统计模型。预测学生考试成绩 基于中学生的家庭...
过滤式特征选择
连续特征分区方式 连续特征分区的方式，取值如下：自动化分区 等距离分区 连续特征离散区间数 仅 连续特征分区方式 选择 等距离分区 时，才需要配置该参数。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件...
PS-SMART多分类
GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码（筛除低频特征）外，不建议对其他连续型数值特征进行离散化。PS-SMART算法会引入随机性。例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样、...
数据视图
参数设置 连续特征离散区间数 连续性特征等距离划分最大区间数。执行调优 计算核心数 计算的核心数，取值范围为正整数。每个核心内存 每个核心的内存，取值范围为1 MB~65536 MB。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您...
PS-SMART回归
GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码（筛除低频特征）外，不建议对其他连续型数值特征进行离散化。PS-SMART算法会引入随机性。例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样、...
PS-SMART二分类训练
GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码（筛除低频特征）以外，不建议对其他连续型数值特征进行离散化。PS-SMART算法会引入随机性。例如，data_sample_ratio 及 fea_sample_ratio 表示的数据和特征采样...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
PS线性回归
如果特征值为类别型字符串，则需要进行特征离散化操作。构建如下工作流，详情请参见 算法建模。配置组件参数。单击 读数据表-1 组件，在右侧 表选择 页签中，配置 表名 为lm_test_input。配置PS线性回归组件的参数（配置如下表格中的参数，...
组件参考：所有组件汇总
离散值特征分析 该组件用于统计离散特征的分布情况。随机森林特征重要性 您可以通过该组件计算特征重要性。过滤式特征选择 该组件将根据您使用的不同特征选择方法，从所有稀疏或稠密格式的特征数据中选择并过滤出TopN的特征数据。特征编码 ...
创建安全联邦学习任务（任务模式）
适用特征维度特别多，特别是神经网络算法。数据集设置 配置使用方和加持方的数据信息，用于后续的数据处理。使用方：指需要数据的一方。加持方：指提供数据的一方。训练集：需训练的数据表。Label字段：指标签字段，用于后续训练学习。对齐...
MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
横向MLP二分类/MLP多分类/MLP回归
多层感知机是一种前馈神经网络，通过多个神经元的组合对输入特征进行非线性变换和特征提取，最终输出一个连续的预测结果。在训练过程中，利用反向传播算法（Backpropagation）和梯度下降算法（Gradient Descent）来优化模型参数，以最小化...
安全防护
同时内置深度神经网络和机器学习等先进技术，通过样本扫描、特征萃取、特征对比和文件聚类等算法，实现多达44种敏感数据的精准识别。同时数据安全中心提供了敏感数据发现后的自动分类分级以及统计展示能力，通过对结构化和非结构化数据源的...
横向分箱
一、组件说明 横向分箱（HomoBinning），是一种横向场景下的数据预处理方法，用于将连续数据转化为离散数据。分箱的目的是为了减少异常值的影响和简化模型的复杂度，同时提高模型的稳定性和可解释性。横向分箱的基本思路是将一段连续的数据...
分箱
一、组件说明 分箱（Binning）是一种数据预处理方法，用于将连续数据转化为离散数据。分箱的目的是为了减少异常值的影响和简化模型的复杂度，同时提高模型的稳定性和可解释性。分箱的基本思路是将一段连续的数据划分为几个区间或者桶，然后...
安全联邦学习-任务模式FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
测试数据构建
实际开发过程中可能伴随频繁的数据准备过程，同时需要保障数据安全、数据的离散性特征可控、高效率。DMS提供的测试数据构建，能够满足您的需求。注意事项 当前仅支持按需操作单个表，如需多个表生成需要多次处理。单次生成上限阈值为100万...
保障离线在线一致性的CTR预估方案
离散型特征：PAI使用独热编码组件处理。最后将两类特征融合成一个向量，并使用FM算法训练模型并推理。运行工作流并查看输出结果。单击画布上方的 运行。工作流运行结束后，右键单击画布中的 二分类评估-1，在快捷菜单，单击 可视化分析，或...
安全联邦学习-工作流FL
三、安全联邦学习已支持的能力 用途 算法分类 已支持算法 分类 决策树 XGBoostWithDp GBDTWithDp 逻辑回归 LogisticRegressionWithHe 神经网络 神经网络MLP 回归 线性回归 LinearRegressionWithHe 神经网络 神经网络MLP 四、如何进行安全...
联邦预处理
离散化 离散化是对特征进行离散化处理，目前仅支持等宽分桶。函数路径 fascia.biz.preprocessing.discretize 函数定义 def discretize(fed_df:HDataFrame,columns:List[str]=None,n_bins=5,strategy='uniform',discretizer:...
使用EasyRec构建推荐模型
FeatureConfig配置 常用特征主要包括：IdFeature（离散值特征/ID类特征）例如 user_id、item_id、category_id、age 及 星座 均属于IdFeature。RawFeature（连续值类特征）RawFeature类特征可以在 Designer 中先进行离散化（例如等频、等距...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
支持向量回归算法（SVR）
sigmoid：使用该函数作为核函数时，效果类似多层神经网络。c 松弛系数的惩罚项系数。取值为大于0的浮点数，可不填。默认值为1。说明 如果数据质量较差，可以适当降低惩罚项 c 的值。epsilon SVR损失函数的阈值。当预测值与实际值的差值等于...
- 产品推荐
- 这些文档可能帮助您