时序聚类函数
时序聚类函数针对输入的多条时序数据进行聚类，自动聚类出不同的曲线形态，进而快速找到相应的聚类中心和异于聚类中的其它形态曲线。关于函数的算法及实现原理请参见 LOG机器学习介绍（02）：时序聚类建模。函数列表 函数 说明 ts_density_...
聚类模型评估
基于原始数据和聚类结果，评估聚类模型的优劣性，从而输出评估指标。使用限制 仅原PAI-Studio平台支持查看该组件的可视化报告。背景信息 评估指标Calinski-Harabasz又称VRC（Variance Ratio Criterion），其计算公式如下。参数 描述 SS B ...
无监督聚类函数
根据 输出数据 画图，如下右图显示，原本在聚类类别之外的点也被纳入到聚类类别之中，便于分析一些离散在聚类中心的用户数据对于整体画像刻画的影响。如果eps设置过大，会让两个类别之间的边界变得不够清晰，影响最终的聚类结果。配置min_...
Proxima Cluster参数
1.聚类 1.1 KmeansCluster/BatchKmeansCluster 参数名 类型 默认值 备注 proxima.general.cluster.count UINT32 0 中心点数量 proxima.kmeans.cluster.count UINT32 0 中心点数量，优先级高于 general，低于 suggest 的 K 值 proxima....
高斯混合模型训练
聚类中心点数量 聚类中心点的数量，默认为2。最大迭代步数 最大迭代步数，默认为100。随机数种子 正整数，默认为0。执行调优 节点个数 与 单个节点内存大小 参数配对使用。取值为[1,9999]的正整数。具体配置方法，详情请参见 附录：如何...
K均值聚类
K均值聚类首先随机选择K个对象作为每个簇的初始聚类中心，然后计算剩余对象与各簇中心的距离，将其分配至距离最近的簇，再重新计算每个簇的聚类中心。该算法假设聚类对象为空间向量，且以各聚类内部的均方误差和最小为目标，不断地进行计算...
聚类分片
聚类分片：核心思路是先对doc进行聚类，将距离接近的doc划分到同一索引分片中，检索时根据query和聚类中心点的距离，选择最近的部分中心点对应的索引分片进行检索。聚类分片划分索引方式的目的是性能优化，查询时避免查询所有索引分片，只...
量化聚类（Quantized Clustering）配置
类型 默认值 说明 qc.builder.train_sample_count uint32 0 指定训练数据量，如果为0则使用全部数据 qc.builder.thread_count uint32 0 构建时开启线程数量，设置为0时为cpu核数 qc.builder.centroid_count string 可选 聚类中心点参数，...
量化聚类（Quantized Clustering）配置
类型 默认值 说明 qc.builder.train_sample_count uint32 0 指定训练数据量，如果为0则使用全部数据 qc.builder.thread_count uint32 0 构建时开启线程数量，设置为0时为cpu核数 qc.builder.centroid_count string 可选 聚类中心点参数，...
Proxima Builder
如果为0则使用全部数据 proxima.qc.builder.thread_count uint32 0 构建时开启线程数量，设置为0时为cpu核数 proxima.qc.builder.centroid_count string 可选 聚类中心点参数，支持层次聚类。层之间用“*”分隔。一层聚类示例：1000 两层...
聚类分片全链路测试
测试结论 Proxima CE在不同的数据集上，针对不同的采样率、聚类中心点个数以及索引分片个数，观察聚类分片方式的召回情况与耗时情况，经测试验证Proxima CE聚类分片的正确性测试符合预期。以下是几条经验准则：聚类中心点个数与召回呈正...
高维向量检索（PASE）
算法流程说明：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心所在聚类中的所有...
高维向量检索（PASE）
算法流程说明：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心所在聚类中的所有...
高效向量检索（PASE）
算法流程说明：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心所在聚类中的所有...
Centauri对比
Kmeans耗时（秒）AutoTuning耗时（秒）Build耗时（秒）Seek耗时（秒）总时间（分钟）Centauri-1524 12653 5914 336分钟 CE hash-9647 6431 268分钟 说明 Kmeans是Proxima CE聚类分片特有的一个阶段，用于获取原始doc表的聚类中心点表。...
K-均值聚类
k-均值聚类（Kmeans）算法是非常基础且被大量使用的聚类算法。算法基本原理：以空间中k个点为中心进行聚类，对最靠近它们的点进行归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。将样本集分为k个类别的算法描述...
参考：内核参考
一般建议：文档数，中心点=2000 文档数200W~1KW，中心点=5000 文档数>1KW，中心点=8000 proxima.ssg.builder.scan_ratio FLOAT 0.01 聚类扫描数，默认是1%。该值控制图的精度，调整越高，图精度越高，但构图成本线性增加。一般建议根据文档...
2022年11月15日 V5.9版本产品更新通告
60000 60000 400000 400000 400000 400000 标注中心-聚类标注 1.聚类问法组区分标注状态 路径：待标注TAB 功能：对同一聚类问法组的多类用户问法进行部分标注或全部标注，未刷新时，聚类问法组显示已标注状态。 2.聚类问法组支持按用户问...
DBSCAN
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法。它将簇定义为密度相连的点的最大集合，把具有足够高密度的区域划分为簇，可以在噪声的空间数据集中发现任意形状的聚类。您可以使用...
SearchSimilarImageClusters-查询相似图片聚类结果
查询相似图片聚类结果前，需调用 CreateSimilarImageClusterTask 接口创建相似图片聚类任务，拿到 task_id，通过 GetTaskStatus 接口查询该聚类任务是否成功。待聚类任务成功后，再通过 SearchSimilarImageClusters 接口获取相似图片结果。...
向量介绍
适用场景：100%召回率 劣势：大数据量下效率较低、资源（CPU、内存）消耗较严重 聚类算法 量化聚类（Quantized Clustering）介绍：量化聚类（Quantized Clustering）是阿里巴巴开发的基于kmeans聚类的向量检索算法。先利用向量文档聚类n个...
PGVector
其中插件算法的具体流程如下：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心...
PGVector
其中插件算法的具体流程如下：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心...
PGVector
其中插件算法的具体流程如下：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心...
2021年7月22日 V5.0.0产品更新预告
旧标注流程：在问答训练中标注知识 新标注流程：在标注中心中依据聚类好的知识进行标注，一次性可支持多知识标注，快速提升准确率 5.0版本核心功能包括：功能模块 功能说明解释 异步任务中心 发布中心 5.0版本作为对话机器人核心能力完善的...
机器学习
聚类问题：提供K-Means算法实现聚类分析；关联分析：提供Apriori算法实现关联分析，解决如“啤酒与尿布”的关联问题；时序分析：提供ARIMA自回归移动平均模型预测时间序列数据的未来值；其他：数据降维如通过PCA主成分分析模型来提炼主因子...
组件参考：所有组件汇总
K均值聚类 该组件会首先随机选择K个对象作为每个簇的初始聚类中心，然后计算剩余对象与各簇中心的距离，将其分配至距离最近的簇，再重新计算每个簇的聚类中心。DBSCAN 您可以使用DBSCAN组件构建聚类模型。高斯混合模型训练 您可以使用高斯...
使用日志聚类
开启日志聚类后，您可以在 日志聚类 页签中进行日志聚类和查看聚类结果。本文介绍支持在 日志聚类 页签对日志进行的常用操作。日志聚类界面 日志聚类功能支持在采集日志时，将相似度高的日志聚合，提取共同的日志模式（Pattern），快速掌握...
算法说明
日志聚类算法 日志聚类算法基于日志聚类功能，日志聚类功能对日志数据进行粗粒度聚类，日志聚类算法在粗粒度聚类的结果上进行精度更高的二次聚类。开启日志聚类、查看聚类结果等操作步骤，请参见 日志聚类。模板发现算法 模板发现算法使用...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
工况识别-训练
否 10[1,100]聚类方法：k均值聚类、均值漂移聚类、高斯混合聚类 参数名 参数描述 是否必填 参数默认值 参数范围 聚类数下限 聚类类别数量下限。用于寻找最优聚类类别数。否 2[2,15]聚类数上限 聚类类别数量上限。用于寻找最优聚类类别数。...
横向聚类
一、组件说明 横向聚类组件是横向场景下的一种无监督机器学习算法，用于将n个数据点分成k个簇，使得簇内的数据点具有高度相似性。聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系，将相似的数据点划分到同一簇中。适用于...
DBSCAN聚类
本文为您介绍DBSCAN聚类组件。功能说明 DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。DBSCAN 的核心概念是 core samples,是指位于高密度区域的...
安全防护
同时内置深度神经网络和机器学习等先进技术，通过样本扫描、特征萃取、特征对比和文件聚类等算法，实现多达44种敏感数据的精准识别。同时数据安全中心提供了敏感数据发现后的自动分类分级以及统计展示能力，通过对结构化和非结构化数据源的...
K均值聚类
是 自动 自动 K-Means算法 elkan K-Means算法 其他参数 参数名 参数描述 模型结果 模型结果展示模型聚类效果以及聚类结果，其中“CH分数（即Calinski-Harabasz指标）”和“轮廓系数”反应聚类效果，值越大，说明聚类效果越好。
GMM聚类
本文为您介绍GMM聚类组件。功能说明 GMM（Gaussian Mixture Model）是一个将事物分解为若干的基于 高斯概率密度函数（正态分布曲线）形成的模型，混合高斯分布（MoG）由多个混合成分组成，每一个混合成分对应一个高斯分布。当聚类问题中...
人脸聚类
使用人脸聚类功能，你可以将媒体集中存在相似人脸的多张图片进行分组，可用于网盘的人脸相册、家庭监控的陌生人检测、甚至新零售的顾客管理等场景。人脸聚类后，您可以根据人脸分组查询对应人员的所有图片信息。重要 此文档已不再维护，...
API概览
本产品（云安全中心/2018-12-03）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，可...
聚类标注功能使用介绍
基本功能实现介绍 功能入口 在左侧导航栏，选择 运营中心>问答标注>聚类标注，进入聚类标注界面，具体界面如下：待标注内容查看 进入聚类标注界面后，点击“待标注”标签，进入待标注界面；根据实际业务需求选择待标注数据 筛选条件 后，...
查看仪表盘
接入机器的配置数据和监控指标数据后，SREWorks数智服务会基于您的指标数据，自动生成相应的仪表盘，便于您查看集群总览指标和单机指标详情，进行机器热点分析和聚类分析等。前提条件 已接入机器的配置数据和监控指标数据。具体操作，请...
- 产品推荐
- 这些文档可能帮助您