使用须知
当业务体量不断增长时，因为无法调整bucket数量，不能有更多的region帮助分担写，会导致写入吞吐无法随集群扩容而线性增加。导致写瓶颈，从而限制业务发展。读扩散：select会按buckets数量进行拆分和并发，每个并发都会在执行时占用一个...
排序表达式
计算其衰减程度 支持 支持 linear_decay 使用线性函数，根据数值和给定的起始点之间的距离，计算其衰减程度 支持 支持 exp_decay 使用指数函数，根据数值和给定的起始点之间的距离，计算其衰减程度 支持 支持 kvpairs_value 获取查询串...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
网上商城商品相关性分析
这种数据分析对于电商行业是很重要的，可以用来分析用户购买行为。例如：在某一商品的detail页面，推荐给用户与该商品相关的其他商品；在添加购物车成功页面，当用户把一个商品添加到购物车，推荐给用户与之相关的其他商品；在货架上将相关...
特征管理
pearson：判断两个特征之间的线性关系。基于数据库中的数据来创建特征时使用该值。详情请参见 Pearson相关系数。psi：检查数据的实际分布和期望分布的差异，以评估模型的稳定性。基于数据库中的数据来创建特征时使用该值。详情请参见 群体...
常见问题FAQ
优化求解器当前可以快速求解大规模线性规划LP、混合整数线性规划MILP、凸二次规划QP问题，目前支持命令行和C、C++、Python、Java的API调用，可在Windows，macOS和Linux系统下使用。有示例代码和案例分析讲解如何使用，免费。运行产生异常请...
BE参数配置
transfer_large_data_by_brpc 默认值：true 类型：Bool 说明：该配置用来控制是否在Tuple或者Block data长度大于1.8 GB时，将protoBuf request序列化后和Tuple或者Block data一起嵌入到controller attachment后通过Http brpc发送。...
动态特征提取
线性趋势：对采样数据序列进行线性拟合，取线性模型的系数，作为输出。变化趋势：对采样数据序列做Mann-Kendall测试（曼肯德尔检验），若“无趋势”，则输出0；反之，则取slope参数，作为输出。曼肯德尔检验：Mann-Kendall 趋势检验（有时...
开发运维建议
maxLifetime：建议设置为60分钟，用来设置一个connection在连接池中的最大存活时间。可以极大降低连接Relcache内存导致OOM的概率。maximumPoolSize=15：单个连接池实例允许的最大连接数，15已经满足绝大多数应用需求。如果连接池客户端个数...
概述
用于预测的参数，参数和 人工智能平台 PAI 平台的参数一致，请参见 线性支持向量机、PS-SMART多分类 或 GBDT回归。支持的评估模型函数 MaxCompute SQLML当前支持如下评估模型函数，用于评估预测结果的准确性：二分类评估：通过内建函数 ml_...
聚合函数
regr_intercept(y,x)→double 返回输入值的线性回归截距。y 是因变量。x 是自变量。regr_slope(y,x)→double 返回输入值的线性回归斜率。y 是因变量。x 是自变量。stddev(x)→double 这个函数是 stddev_samp()的别名函数。stddev_pop(x)→...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
向量索引
linear_build_threshold：线性构建的阈值，若文档数量低于该阈值，则会使用LinearBuilder构建,LinearSearcher检索。默认是10000，用线性构建的好处是可以节省内存,召回结果无损,但是若数据规模较大时，性能极差。min_scan_doc_cnt:召回候选...
摊销成本
本文档包含新旧版摊销成本介绍。...接上例，降配，若客户于2022.1.20日进行实例降配 针对A001和A002分别产生降配订单A001-1和A002-1，其中 A001-1订单：服务周期2022.01.20-2022.01.31，服务时长12天，金额为12，按照线性分摊逻辑，2022...
任务列表
A：任务进度百分比不是线性变化的，是根据不同的任务类型、用户的数据量、业务量、实例所处的宿主资源情况综合统计出来的。如果进度百分比长时间不动，一般都是后台正在进行比较耗时的步骤，例如跨机的数据迁移、备份、下载、大版本升级等...
任务列表
A：任务进度百分比不是线性变化的，是根据不同的任务类型、用户的数据量、业务量、实例所处的宿主资源情况综合统计出来的。如果进度百分比长时间不动，一般都是后台正在进行比较耗时的步骤，例如跨机的数据迁移、备份、下载、大版本升级等...
任务列表
A：任务进度百分比不是线性变化的，是根据不同的任务类型、用户的数据量、业务量、实例所处的宿主资源情况综合统计出来的。如果进度百分比长时间不动，一般都是后台正在进行比较耗时的步骤，例如跨机的数据迁移、备份、下载、大版本升级等...
相关性分析
皮尔逊相关系数：用于衡量两个数据集是否在一条线上面，即针对线性数据的相关系数计算，针对非线性数据便会有误差。肯德尔相关系数：用于反映分类变量的相关性，即针对无序序列的相关系数计算，非正太分布的数据。斯皮尔曼相关系数：用于非...
偏最小二乘回归
功能说明 偏最小二乘回归是通过投影分别将预测变量和观测变量投影到一个新空间，来寻找一个线性回归模型。偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很多，且都存在多重相关性，而观测数据的数量（样本量）又...
任务列表
A：任务进度百分比不是线性变化的，是根据不同的任务类型、用户的数据量、业务量、集群所处的宿主资源情况综合统计出来的。如果进度百分比长时间不动，一般都是后台正在进行比较耗时的步骤，请耐心等待 对于库表恢复、数据恢复等长时任务，...
通用模型导出
支持接入的上游组件 常规机器学习组件 GBDT二分类 线性支持向量机 逻辑回归二分类 GBDT回归 线性回归 K均值聚类 逻辑回归多分类 朴素贝叶斯 PS系列组件 PS-SMART二分类 PS-SMART多分类 PS-SMART回归 PS线性回归 可视化配置组件 您可以在 ...
特征编码
特征编码是将非线性特征通过GBDT编码成线性特征。功能介绍 特征编码由决策树和Ensemble算法挖掘新特征的一种策略，特征来自一个或多个特征组成的决策树叶子结点的one-hot结果。例如，下图有三棵树，共有12个叶子结点。根据树的顺序依次编码...
岭回归训练
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for ...
ST_LinearStretch
将影像进行线性拉伸，作为一个新的raster返回。语法 形式一：raster ST_LinearStretch(raster raster_obj,integer pyramidLevel default 0,cstring bands default '',integer minRatio default 0,integer maxRatio default 100,cstring ...
ST_LinearStretch
将影像进行线性拉伸，作为一个新的raster返回。语法 形式一：raster ST_LinearStretch(raster raster_obj,integer pyramidLevel default 0,cstring bands default '',integer minRatio default 0,integer maxRatio default 100,cstring ...
皮尔森系数
皮尔森系数是一种线性相关系数，用于反映两个变量线性相关程度的统计量。机器学习中，皮尔森系数用于计算输入表或分区两列（数值列）的Pearson相关系数，计算结果输出至输出表。组件配置 您可以使用以下任意一种方式，配置皮尔森系数组件...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed优化原理 场景说明 使用单机多卡或多机多卡进行AI分布式训练时，分布式通信的线性度可作为单卡训练扩展到多卡的性能指标，线性度的计算方式如下：单机内部扩展性：线性度=多卡性能/单卡性能/单机卡数 多机之间扩展性：线性度=...
特征重要性过滤
特征重要性过滤组件为线性特征重要性、GBDT特征重要性和随机森林特征重要性等组件提供过滤功能，支持过滤TopN的特征。组件配置 PAI命令 PAI-name fe_filter_runner-project algo_public-DselectedCols=pdays,previous,emp_var_rate,cons_...
皮尔森相关系数CORR
一、组件说明 皮尔森相关系数是一种用于衡量两个变量之间线性相关关系的统计量，可用于衡量两个变量之间的相关性，通常用符号r表示。该系数的取值范围为-1到1之间，0表示两个变量之间不存在线性关系，1表示两个变量之间存在完全正相关，-1...
Pipeline部署在线服务
例如：需要部署线性回归模型用于在线预测，则线性回归训练组件和线性回归预测组件都需要运行成功。在线服务限制单输入单输出，因此需要从离线的Directed Acyclic Graph（DAG）图中选择单一串行链路进行部署。前提条件 已创建模型工作流...
向量索引
linear_build_threshold：线性构建的阈值，若文档数量低于该阈值，则会使用LinearBuilder构建,LinearSearcher检索。默认是10000，用线性构建的好处是可以节省内存,召回结果无损,但是若数据规模较大时，性能极差。min_scan_doc_cnt:召回候选...
向量索引通用配置
向量分隔符 可自定义 向量检索时各维度使用的分隔符（如vector:'1.05066,0.15610,0.156145.' 其中分隔符为逗号）线性构建的阈值 默认为5000 表示数据量在5000以内用线性 忽略有问题的向量数据 true false 当向量维度不正常，向量数据为空时...
岭回归预测
算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于...
等值面层（v1.x版本）
线性渲染 最小颜色：value 值最小的插值点的颜色，请参见 颜色选择器说明 进行修改。中间颜色：value 值处于最大值和最小值之间时，对应插值点的颜色。最大颜色：value 值最大的插值点的颜色。中断值：线性渲染的中断值。DataV会根据您设置...
增量同步性能白皮书
网络总带宽消耗 下图展示的是增量同步消耗的总带宽，从图中我们可以看出带宽和Channel数的线性关系（略单机-16分区场景）。在单机-64分区场景下，我们可以看到带宽总消耗为125 MBps，已经成功把千兆网卡打爆，而在换成2台机器-64分区进行...
- 产品推荐
- 这些文档可能帮助您