组件参考：所有组件汇总
经验概率密度图 该组件是采用经验分布和内核分布两种算法。全表统计 该组件用于统计全表，或某些选中的列。卡方拟合性检验 该组件用于变量为类别型变量的场景，旨在检验单个多项分类型变量在各分类间的实际观测次数与理论次数是否一致，其...
基本概念
一种分布式系统数据一致性保证的算法，通过一定的协议交互来确保分布式系统的多个参与方达成数据的一致性。常见的算法包括 PBFT、RAFT、POW、POS 等。共识证明 英文名称Consensus proof。用以证明目标数据经过共识算法一致性确认的数据结构...
拒绝推断
算法简介 以信贷场景为例，用评分卡模型对用户的偿还、违约情况进行建模时只用到了被放贷的用户数据，而缺少未得到贷款的用户数据，导致模型对全量数据的风险估计不准确，往往过于乐观。拒绝推断可以解决此类样本偏差问题。算法原理 拒绝...
Lasso回归训练
Lasso（Least absolute shrinkage and selection operator）回归算法是一种压缩估计算法。Lasso回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍Lasso回归训练组件的配置方法。使用限制 支持的...
检查索引使用
总代价是用每个计划节点的每行代价乘以计划节点的选择度估计来计算的。计划节点的代价估计可以通过运行时参数调整。不准确的选择度估计可能是由于缺乏统计信息，可以通过调节统计信息收集参数（见ALTER TABLE）来改进。如果你不能成功地把...
概述
支持单时序序列的预测、异常检测、变点检测、折点检测、多周期估计算法。支持单时序序列的分解操作。支持多时序序列的多种聚类算法。支持多字段（数值列、文本列）的模式挖掘。使用限制 使用日志服务机器学习函数须遵循以下限制：输入的...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
HTAP中的行列混存查询优化
cardinality estimation：根据查询表的分布情况，估计查询执行过程中的数据量、数据分布情况等。cost model：根据执行计划以及数据库内部的状态，计算按照各个执行计划执行所需要的代价。在查询优化器中，最为广泛研究的是查询计划中的join...
高效基因序列检索助力快速分析肺炎病毒
总体而言，AnalyticDB MySQL版 基因向量抽取算法分为三步：在氨基酸序列中定义词 生物信息学中用K-mers来分析氨基酸序列，k-mer是指将核酸序列分成包含k个碱基的字符串，即从一段连续的核酸序列中迭代选取长度为K个碱基的序列，若核酸序列...
图像关键点训练
算法简介 关键点检测模块提供主流的自上而下（Top-Down）的算法，主要包含两个部分：目标检测和单人人体关键点检测。人体关键点定位依赖于检测算法提出的Proposals，目前已经支持的模型包括HRNet和Lite-HRNet。图像关键点训练组件位于组件...
图像分类训练（torch）
算法简介 图像分类训练（torch）组件提供了CNN和Transformer两大类主流模型，支持ResNet、ResNeXt、HRNet、ViT、SwinT、MobileNetv2算法，并提供了基于ImageNet预训练的模型，方便您进行模型调整。图像分类训练（torch）组件位于组件库 ...
机器学习开发示例
在机器学习中我们用计算测试值和预测值之间出现的误差的均方根的平均值来查看模型的准确性。pyspark from pyspark.ml.evaluation import RegressionEvaluator#使RegressionEvaluator用来计算均方根误差。evaluator=RegressionEvaluator...
什么是推荐全链路深度定制开发平台PAI-REC
除此之外，如果企业推荐算法、工程团队建设相对年轻，我们建议对接初期，采用阿里算法团队基于行业定制的算法模型来启动服务，一方面可辅助企业在短期内完成完整推荐系统的部署，另一方面可助力企业开发者快速上手、自主完成模型训练、效果...
使用pgcrypto及国密SM4加密算法
AnalyticDB PostgreSQL版 内置加密解密模块pgcryoto并集成国密SM4加密算法，允许数据库用户以加密形式存储数据的某些列，为敏感数据增加了一层额外的保护。无密钥时，任何用户都无法读取以加密形式存储在数据库中的数据。注意事项 pgcrypto...
限流算法选择
服务限流中主要使用了 QPS 限流算法和令牌桶算法两种限流算法，本文对这两种算法进行介绍。QPS 限流算法 QPS 限流算法通过限制单位时间内允许通过的请求数来限流。优点：计算简单，是否限流只跟请求数相关，放过的请求数是可预知的（令牌桶...
时序异常检测
本文介绍异常检测算法的概念和时序异常检测的语法。引擎与版本 时序异常检测仅支持时序引擎。无版本要求。使用限制 时序异常检测必须和 SAMPLE BY 语句搭配使用。功能简介 时序异常检测用于检测指定时间线上异常点的值，支持阿里达摩院自研...
功能特性
预置算法组件库 支持数据源、数据预处理、特征工程、统计分析、机器学习、时间序列、推荐算法、异常检测、自然语言处理、网络分析、金融板块、视觉算法、语音算法、自定义算法等上百种PAI内置算法组件，开箱即用。组件参考：所有组件汇总 ...
技术原理
对于用户来说，通常无需关心具体的数据分布，PolarDB-X的分布式SQL层将会自动完成查询路由、结果合并等。扩容迁移 随着业务的增长，数据量越来越大，往往需要添加更多的数据节点以承载更多的数据。当新的数据节点加入实例时，PolarDB-X将...
Prophet
Prophet是Facebook开源的时间序列预测算法，适用于具有一定规律的数据。Prophet组件通过对每一行的MTable数据，进行Prophet时间序列预测，给出下一时间段的预测结果。本文为您介绍Prophet组件的配置方法。使用限制 支持的计算引擎为...
数据对接期
曝光数据作为用户后续任何行为数据的前提，对于智能推荐算法来说是必须的，但如果您暂时没有办法提供准确的曝光数据，您可以选择让AIRec智能推荐自动补足曝光数据，以快速启动实例。如您需要开启此功能：操作设置：在智能推荐控制台中，...
梯度提升回归树算法（GBRT）
前向分布算法的思想是基于当前模型和拟合函数来选择合适的决策树函数，从而最小化损失函数。GBRT主要有以下两部分组成：回归树（Regression Tree（RT））：回归树是决策树类别之一，用来预测实际值。GBRT算法是一种迭代的回归树算法，由多...
使用UUID-OSSP
对分布式系统来说，UUID比序列更能保证唯一性。UUID由32个16进制数字组成，标准格式为一组8位字符+一组4位字符+一组4位字符+一组4位字符+12组字符，每组字符由连字符连接，示例如下：a0eebc99-9c0b-4ef8-bb6d-6bb9bd380a11 UUID还支持以...
纠删码
说明 以RS-4-2算法为例，开启EC纠删码功能后数据副本会被打散分布至6个节点上。为确保实例的可用性，需额外增加1个节点进行冗余，保证有一个节点异常的情况下数据仍能正常写入，因此实例要求存储节点的最少数量为7。开启纠删码 宽表引擎...
XGBoost
计算逻辑原理 XGBoost是一棵树集成模型，它使用的是K（树的总数为K）个树的每棵树对样本的预测值的和作为该样本在XGBoost系统中的预测，XGBoost算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一棵树，其实是学习一个...
概述
Row-oriented AI NL2BI：用自然语言实时查看BI报表 典型解决方案 ID-Mapping在游戏领域的解决方案 通义千问大模型数据推理和交互 核心算法 LightGBM算法 DeepFM算法 K均值聚类算法（K-Means）随机森林回归算法（Random Forest Regression）...
人工神经网络
人工神经网络有多层和单层之分，每一层包含若干神经元，各神经元之间用带可变权重的有向弧连接，网络通过对已知信息的反复学习训练，通过逐步调整改变神经元连接权重的方法，达到处理信息、模拟输入输出之间关系的目的。计算逻辑原理 依据...
AUTO模式数据库与DRDS模式数据库
分区表的默认路由算法是基于range的一致性HASH算法，这种算法天然支持通过分裂、合并操作等变更分区，并且无须rehash所有数据，因此，AUTO模式的分区表具备分区级的变更能力。功能对比 与DRDS模式数据库相比，AUTO模式数据库新增了自动分区...
com.aliyun.opensearch.cava
用户可以使用这些特征库来计算查询词和文档的相关性，匹配查询请求与文档的标签并进行加权，获取文档的人气分等。类列表：功能类 类名称 类简介 TagMatch 匹配文档和请求中的标签 Util 提供了一系列常用的功能型函数，比如衰减函数，归一化...
概述
为什么需要冷启动 通常推荐系统通过协同过滤、矩阵分解或是深度学习模型来生成推荐候选集，这些召回算法一般都依赖于用户-物品行为矩阵。在真实的推荐系统中，会有源源不断的新用户、新物品加入，这些新加入系统的用户和物品由于缺乏足够...
数据可靠性
日志服务底层存储采用三副本机制来保证数据的可靠性，即每份数据都有3个副本，副本按照一定的分布式存储算法保存在集群中的不同机器。通过该机制，存储系统确保3个数据副本分布在不同服务器的不同物理磁盘上，单个硬件设备的故障不会造成...
自动机器学习（AutoML）
什么是AutoML AutoML是PAI产品的机器学习增强型服务，集成了多种PAI平台支持的算法和分布式计算资源，支持多种方式访问。在模型超参调优领域，它可以帮助您自动寻找最优化超参值，大幅提高模型调优效率。AutoML工作原理 AutoML实现自动化...
概览
本文汇总了PAI的最佳实践。热点文章 通义千问Qwen全托管灵骏最佳实践 5分钟使用EAS一键部署LLM大语言模型应用 PAI+向量检索快速搭建大模型知识库对话 5分钟使用EAS一键部署...TF 使用TensorFlow实现分布式DeepFM算法 模型仓库（FastNN）
签名机制
本算法可以用下面的 percentEncode 方法来实现：private static final String ENCODING="UTF-8;private static String percentEncode(String value)throws UnsupportedEncodingException { return value!null?URLEncoder.encode(value,...
核密度估计函数
核密度估计函数采用平滑的峰值函数来拟合观察到的数据点，从而对真实的概率分布曲线进行模拟。函数格式 select kernel_density_estimation(bigint stamp,double value,varchar kernelType)参数说明 参数 说明 stamp UnixTime 时间戳数据，...
签名机制
本算法可以用下面的 percentEncode 方法来实现：private static final String ENCODING="UTF-8;private static String percentEncode(String value)throws UnsupportedEncodingException { return value!null?URLEncoder.encode(value,...
概述
RDS MySQL一键升级PolarDB-X标准版 原先RDS MySQL三节点企业版进行品牌升级，合入 PolarDB-X 标准版的产品序列继续发展，基于自研分布式共识算法（X-Paxos）为企业级客户继续提供RPO=0的数据库服务，详情请参见 通知。因此 PolarDB-X 支持...
HaaS EDU场景式应用整体介绍
同时，您还可以基于陀螺仪的数据扩展出更多的算法，比如，用它来开发各种运动监测算法，打造出专属于你的运动监测器等等，将技术应用到身边的实际场景中。2.4 分歧争端机 还记得风靡全国的“摇一摇”吗？摇红包，摇奖券。那么，摇一摇是...
应用场景
适用客户：开箱即用，适合有高性能检索诉求的中小企业及开发者 向量检索版 版本特性：大规模分布式高性能公有云向量检索解决方案，支持多种检索算法，实现精度和性能之间的平衡，支持索引流式构建、即增即查。典型业务场景：图片搜索、音...
什么是工业大脑AICS
智能控制系统辨识，通过辨识建立数学模型估计表征系统行为重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统设计智能控制器，辨识完成模型，可通过控制流程中的DT-MPC组件对系统智能控制；工业数据建模...
基本配置
配置介绍【线上应用配置】当通过首页进入【搜索算法中心-召回配置-基本配置】，选择了“应用名”和“线上应用”，就会显示如上图所示的列表，展示当前应用正在使用的分词配置。线上应用可通过右上角的“线下变更”按钮修改应用结构。【线下...
- 产品推荐
- 这些文档可能帮助您