函数概览
reduce函数 根据Lambda表达式中的定义，对数组中的各个元素进行相加计算，然后返回计算结果。reverse函数 对数组中的元素进行反向排列。sequence函数 通过指定的起始值返回一个数组，其元素为起始值范围内一组连续且递增的值。递增间隔为...
产品优势
特性 Lindorm文件引擎 开源HDFS 功能定位 分布式文件系统 分布式文件系统 HDFS兼容性 HDFS通信协议 支持 支持 基础读写接口 完整支持 完整支持 高级管理接口 完整支持 完整支持 成本 存储单价（实际费用以购买页面为准）最低0.12元/GB/月 ...
数据开发：开发者
说明 目前DataWorks的节点分为数据同步类型节点与计算类型节点两大类，实际开发过程中，您通常需要先通过离线同步任务将业务数据库中的数据同步至数仓中，再通过DataWorks计算节点对数仓中的表数据进行清洗加工。创建节点。您可通过如下两...
技术分析函数
技术分析的函数将广泛使用的算法应用在您的数据中。虽然这些函数主要应用在金融和投资领域，但是它们也适用于其它行业和用例。...TRIX计算一段时间内输入数据的对数的三重指数移动平均值。从当前的值中减去之前的值，这可以...
新闻行业
1520327038 bhv_value string 建议填写 行为详情，例如点击次数，停留时长，购买件数等。用户自填 1、点击行为填1即可。2、曝光行为视业务需求，也可不填。3、其它行为类型请联系技术开发。500 user_id string 已登录用户必填 用户ID。用户...
MaxCompute安全白皮书
系统安全 MaxCompute支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥认证技术）对于用户的每一个HTTP请求都会进行签名认证，针对不同的用户操作执行完整的权限检查，用户数据被离散存储在分布式文件系统中，...
公告
本文为您提供关于MaxCompute使用功能的各项更新记录。DataWorks独享资源组PyODPS节点升级公告 尊敬的MaxCompute用户：DataWorks将于北京时间 2024年03月11日（周一）至 2024年04月25日（周四）期间，逐步升级各个地域的独享资源组，以增强...
RunInstances-创建一台或多台按量付费或者包年包月ECS...
示例 1：创建包年包月实例 实例所在地域为华东 1（杭州），计费方式为包年包月，购买时长一个月，到期自动续费一个月，镜像 ID 为：aliyun_3_x64_20G_alibase_20221102.vhd，实例规格为：ecs.g7.large，40 GiB ESSD 云盘，挂载 100 GiB ...
特征离散化
是 等间隔离散化 等间隔离散化 等距离散化 离散化方法：等间隔离散化 参数名 参数描述 是否必填 参数默认值 参数范围 离散区间间隔 数据分段间隔。例如：离散区间间隔为2时，离散化处理会将属性值处理成固定步长为2的数据。否 1[0,99999999...
特征离散
取值如下：Isometric Discretization（等距离散）Isofrequecy Discretization（等频离散）Gini-gain-based Discretization（基于Gini增益离散）Entropy-gain-based Discretization（基于熵增益离散）离散区间个数 离散区间的个数。...
Label Encoder
一、组件说明 Label Encoder是一种用于将离散分类变量转换为数值变量的编码方法。它将每个离散变量的取值映射到一个整数，从而将离散变量转换为连续变量。例如，一个有三个取值的离散变量“颜色”（红色、绿色、蓝色），使用Label Encoder...
横向LabelEncoder
一、组件说明 Homo Label Encoder是一种用于将离散分类变量转换为数值变量的编码方法，适用于横向联邦场景。它将每个离散变量的取值映射到一个整数，从而将离散变量转换为连续变量。例如，一个有三个取值的离散变量“颜色”（红色、绿色、...
基于分箱组件实现连续特征离散化
特征离散是将连续的数据进行分段，使其变为多个离散化区间。针对该场景，PAI推出了分箱组件和数据转换模块组件。首先使用分箱组件将连续特征离散化，再使用 数据转换模块 将原始数据从连续值转换为离散值。本文为您介绍如何使用Designer...
系统内置基础特征
all_nid_ctr_1 BIGINT item 1天点击率（已进行离散化）system_all_nid_pv_30 BIGINT item 30天曝光量（已进行离散化）system_all_nid_pv_7 BIGINT item 7天曝光量（已进行离散化）system_all_nid_pv_1 BIGINT item 1天曝光量（已进行离散化...
数学函数
ln(x)Double 返回x的自然对数，即x以e为底的对数。如果x小于或等于0，则返回NULL。log2(x)Double 返回x以2为底的对数。如果x小于或等于 0.0E0，则返回NULL。log10(x)Double 返回x以10为底的对数。如果x小于或等于 0.0E0，则返回NULL。
离散值特征分析
本文为您介绍 Designer 提供的离散值特征分析。离散值特征分析统计离散特征的分布情况。包括gini，entropy，gini gain，information gain，information gain ratio等指标。计算每个离散值对应的gini，entropy，计算单列对应的gini gain，...
Math
static double ceil(double v)返回不小于v的最小整数 static double floor(double v)返回不大于v的最大整数 static double ln(double v)返回v的自然对数 static double log2(double v)返回v以2为底的对数 static double log(double v)返回v...
Math
static double ceil(double v)返回不小于v的最小整数 static double floor(double v)返回不大于v的最大整数 static double ln(double v)返回v的自然对数 static double log2(double v)返回v以2为底的对数 static double log(double v)返回v...
数据转换模块
通过数据转换模块可以对数据进行归一化、离散化、Index化或WOE转换。配置组件 您可以使用以下任意一种方式，配置数据转换模块组件参数。方式一：可视化方式 在 Designer 工作流页面配置组件参数。页签 参数 描述 字段设置 输入表选择的特征...
SIZE
返回指定MAP中的K/V对数。注意事项 输入为ARRAY数组：计算ARRAY数组 a 中的元素数目。输入为MAP对象：计算MAP对象 b 中的Key-Value对数。命令格式 int size(array<T><a>)int size(map,V>)参数说明 a：必填。ARRAY数组。array中的 T 指代...
数学函数
返回：0.6931471805599453 LOG(x)或LOG(base,x)返回自然对数（以e为底的对数），如果带有base参数，则base为指定带底数。SELECT LOG(20.085536923188)返回：3 SELECT LOG(2,4);返回：2 LOG10(x)返回以10为底的对数。SELECT LOG10(100);返回...
分箱
通过分箱组件可以进行特征离散化，即将连续的数据进行分段，使其变为多个离散化区间。分箱组件支持等频分箱、等宽分箱及自动分箱。配置组件 您可以使用以下任意一种方式，配置分箱组件参数。方式一：可视化方式 在 Designer 工作流页面配置...
数学函数
ln(2.0)0.6931471805599453 ln(numeric)返回NUMERIC类型表达式的自然对数。ln(2.0)0.6931471805599453 log(dp)返回DP类型表达式的常用对数。log(100.0)2.0 log(numeric)返回NUMERIC类型表达式的常用对数。log(100.0)2.0 log(b numeric,x ...
One-Hot编码
一、组件说明 One-Hot编码是一种将离散特征转换成连续特征的方法。它将一个有m个取值的离散特征转换为m个0/1特征，每个特征表示原离散特征是否等于该取值。例如，假设原始数据集有一个表示“颜色”的特征，包含三个不同的取值：红色、绿色...
横向One-Hot编码
一、组件说明 横向One-Hot编码是一种将离散特征转换成连续特征的方法，用于横向场景。它将一个有m个取值的离散特征转换为m个0/1特征，每个特征表示原离散特征是否等于该取值。例如，假设原始数据集有一个表示“颜色”的特征，包含三个不同...
联邦预处理
离散化 离散化是对特征进行离散化处理，目前仅支持等宽分桶。函数路径 fascia.biz.preprocessing.discretize 函数定义 def discretize(fed_df:HDataFrame,columns:List[str]=None,n_bins=5,strategy='uniform',discretizer:...
查看和修改CPU拓扑结构
目前阿里云部分实例规格族支持 HT连续模式（ContinuousCoreToHTMapping）和 HT离散模式（DiscreteCoreToHTMapping）两种不同的拓扑结构。在创建实例时，您可以通过调用OpenAPI并设置不同的参数来修改CPU拓扑结构。说明 本文以一台8 vCPU的X...
数学计算函数
查询和分析语句*|SELECT is_nan(status)查询和分析结果 log2函数 log2函数用于计算 x 以2为底的对数。语法 log2(x)参数说明 参数 说明 x 参数值为double类型。返回值类型 double类型。示例 计算100以2为底的对数。查询和分析语句*|SELECT ...
基础统计分析
当字段类型为 bigint，int 时，同时作为连续值和离散值统计，体现在会统计取值个数。重要 业务时间，是对落盘到对应日期分区内的数据，而非统计某一天操作写入的数据。周期运行选择 是 时，会对用户偏好统计周期分析数据诊断任务的 周期...
数值函数（2.0版）
ABS：绝对值函数 MOD：求余 ROUND：四舍五入 SQRT：平方根 CBRT：立方根 E：自然对数 LN：自然对数 LOG：对数 LOG2：以2为底的对数 LOG10：以10为底的对数 PI：返回pi POWER：指数函数 RANDOM：随机函数 RADIANS：角度转度 DEGREES：弧度转...
GDB Cypher实现的兼容性
支持 toString()字符串 支持 toUpper()字符串 支持 trim()字符串 支持 abs()数值 支持 ceil()数值 不支持 floor()数值 不支持 rand()数值 不支持 round()数值 支持 sign()数值 不支持 e()对数函数 不支持 exp()对数函数 不支持 log()对数...
ST_FrechetDistance
如果设置了densifyFrac参数，该函数在计算离散弗雷歇距离之前执行段致密化。每个段将被分成多个等长的子段，每个子段之于总段的比例接近给定的分数。当前实现仅支持将顶点视为离散位置，并且不限制点的数量。指定的densifyFrac越小，得到的...
规则表达式
log(n)返回log以e为底n的对数。log1p(n)返回log(1+n)的值。n值较小时，使用此函数计算的结果比 log(1+n)更精确。log2(n)返回log以2为底n的对数。log10(n)返回log以10为底n的对数。pow(n1,n2)返回n1的n2次幂。rand()返回[0,1)之间的随机数。...
ST_FrechetDistance
如果设置了densifyFrac参数，该函数在计算离散弗雷歇距离之前执行段致密化。每个段将被分成多个等长的子段，每个子段之于总段的比例接近给定的分数。当前实现仅支持将顶点视为离散位置，并且不限制点的数量。指定的densifyFrac越小，得到的...
分箱
一、组件说明 分箱（Binning）是一种数据预处理方法，用于将连续数据转化为离散数据。分箱的目的是为了减少异常值的影响和简化模型的复杂度，同时提高模型的稳定性和可解释性。分箱的基本思路是将一段连续的数据划分为几个区间或者桶，然后...
ST_FrechetDistance
如果设置了densifyFrac参数，该函数在计算离散弗雷歇距离之前执行段致密化。每个段将被分成多个等长的子段，每个子段之于总段的比例接近给定的分数。当前实现仅支持将顶点视为离散位置，并且不限制点的数量。指定的densifyFrac越小，得到的...
横向分箱
一、组件说明 横向分箱（HomoBinning），是一种横向场景下的数据预处理方法，用于将连续数据转化为离散数据。分箱的目的是为了减少异常值的影响和简化模型的复杂度，同时提高模型的稳定性和可解释性。横向分箱的基本思路是将一段连续的数据...
数学函数
ABS：求绝对值 CBRT：求立方根 CEILING/CEIL：向上取整 DEGREES：把弧度转化为度 E：求自然对数 EXP：返回x的自然常数次幂 FLOOR：向下取整 FROM_BASE：返回radix进制的字符串string代表的数 LN：求自然对数 LOG2：求以2为底的对数 LOG10：...
数组函数和运算符
reduce函数 reduce(x,lambda_expression)根据Lambda表达式中的定义，对数组中的各个元素进行相加计算，然后返回计算结果。reverse函数 reverse(x)对数组中的元素进行反向排列。sequence函数 sequence(x,y)通过指定的起始值返回一个数组，其...
one-hot编码
当使用模型编码新数据时，如果在模型映射表中无法找到数据中的离散量，则忽略该离散量，即不对该离散量编码。如果需要对其进行编码，请重新训练模型映射表。示例 使用SQL语句，生成训练数据。PAI-project projectxlib4-name one_hot-...
- 产品推荐
- 这些文档可能帮助您