K均值聚类算法（K-Means）
本文介绍了K均值聚类算法（K-Means Clustering Algorithm，以下简称K-Means）相关内容。简介 K-Means算法是一种迭代求解的聚类分析算法。该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚...
算法说明
在 日志模板匹配 阶段，您可以使用 相似度聚类算法、哈希聚类算法 或者 相似度匹配算法 在线监控日志数据。文本分析中的算法采用LogParser和异常检测技术，提供日志分析报表帮助您了解日志的全局信息和可能存在的异常情况，包括：通过日志...
DBSCAN聚类
功能说明 DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。DBSCAN 的核心概念是 core samples,是指位于高密度区域的样本。DBSCAN算法将聚类视为被低...
通过消费组读取文本日志进行模板匹配
通识字段模板 在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如 模板名称 为 IP，模板表达式 为(?[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3...
横向聚类
聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系，将相似的数据点划分到同一簇中。适用于对没有标签的数据进行归类和分组。组件截图 二、参数说明 字段设置 参数名称 参数说明 特征字段 用于训练的特征字段，数值类型，多...
概述
支持多时序序列的多种聚类算法。支持多字段（数值列、文本列）的模式挖掘。使用限制 使用日志服务机器学习函数须遵循以下限制：输入的时序数据必须是基于相同时间间隔的采样数据。输入的时序数据中不能含有重复时间点的数据。处理容量限制...
通过消费组读取文本日志进行模板发现
通识字段模板 在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如 模板名称 为IP，模板表达式 为(?[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3}...
K-均值聚类
k-均值聚类（Kmeans）算法是非常基础且被大量使用的聚类算法。算法基本原理：以空间中k个点为中心进行聚类，对最靠近它们的点进行归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。将样本集分为k个类别的算法描述...
DBSCAN
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法。它将簇定义为密度相连的点的最大集合，把具有足够高密度的区域划分为簇，可以在噪声的空间数据集中发现任意形状的聚类。您可以使用...
DBSCAN预测
DBSCAN（Density Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法。它将簇定义为密度相连的点的最大集合。把具有高密度的区域划分为簇，可以在噪声的空间数据集中发现任意形状的聚类。您可以使用DBSCAN...
聚类标注功能使用介绍
待标注内容中有关标题解释如下：聚类问法组：借助聚类算法将语义相近的用户问法进行分类，每种类别称为一个问法组，对应的数字表示该问法组包含的用户问法数；用户问法：显示用户会话日志中聚类后的用户问题及数量；匹配类型：显示用户问法...
PGVector
其中插件算法的具体流程如下：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心...
PGVector
其中插件算法的具体流程如下：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心...
PGVector
其中插件算法的具体流程如下：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心...
相似标签自动归类
使用K均值聚类算法，在已经产生的词向量基础上，计算词向量的距离，并按照意义将标签词自动归类。在画布中单击 K均值聚类-1 组件，在右侧 字段设置 页签，选择 特征列 为 f0，附加列 为 word。说明 该组件在运行时，其上游输入数据表的行数...
高维向量检索（PASE）
算法流程说明：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心所在聚类中的所有...
高维向量检索（PASE）
算法流程说明：高维空间中的点基于隐形的聚类属性，按照kmeans等聚类算法对向量进行聚类处理，使得每个类簇有一个中心点。检索向量时首先遍历计算所有类簇的中心点，找到与目标向量最近的n个类簇中心。遍历计算n个类簇中心所在聚类中的所有...
黄牛账号识别之GraphCompute解决方案
如何能够从全局出发，扩大风险实例的召回，这时候开始使用图聚类算法去挖掘风险团伙。除了图结构可以帮助挖掘风险外，实体的属性也可以帮助挖掘风险。充分结合账号的违规、处罚、行为特征以带来更多的信息增益，帮助挖掘更深层次的风险。...
聚类分片
Proxima CE支持使用聚类分片方式检索任务，本文为您介绍聚类分片检索功能的使用方法及示例。前提条件 已安装Proxima CE包并准备输入表，详情请参见 安装Proxima CE包。基本原理 Proxima CE在检索时有两种划分数据分片的方式：哈希分片与聚...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
AutoML使用案例汇总
案例名称 描述 MaxCompute K均值聚类最佳实践 介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行K均值聚类和聚类模型评估组件，以获取K均值聚类组件算法的较优超参数组合。MaxCompute PS-SMART二分类最佳实践 介绍如何...
使用前须知
智能：基于SREWorks算法团队的支持，开放了多维度聚类相关算法能力。同时根据指标数据进行算法的自适应优化，您不需要感知复杂的算法参数，就可以得到准确的聚类分析结果。海量：聚类分析支持超大规模集群（万级别）的机器分析。资产说明 ...
K均值聚类
使用PAI命令，提交K均值聚类算法组件参数：使用初始质心表的方式 drop table if exists pai_kmeans_test_output_idx;yes drop table if exists pai_kmeans_test_output_couter;yes drop table if exists pai_kmeans_test_output_center;yes...
MaxCompute K均值聚类最佳实践
本文为您介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行K均值聚类和聚类模型评估组件，以获取K均值聚类组件算法的较优超参数组合。步骤一：准备数据 您可以参考 聚类模型评估 中的示例来准备测试数据和评估数据。本...
人脸聚类
使用人脸聚类功能，你可以将媒体集中存在相似人脸的多张图片进行分组，可用于网盘的人脸相册、家庭监控的陌生人检测、甚至新零售的顾客管理等场景。人脸聚类后，您可以根据人脸分组查询对应人员的所有图片信息。重要 此文档已不再维护，...
如何降低索引流量费用？
示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100 GB×10%110 GB 当您不再需要使用日志聚类功能时，请...
人脸聚类相关问题
本文介绍了在使用人脸聚类过程中可能遇到的问题。重要 此文档已不再维护，建议您使用新版智能媒体管理。关于智能媒体管理新版与旧版的对比，请参见 新旧版本使用指引。关于新版智能媒体管理人脸聚类的常见问题，请参见 图片管理常见问题。...
使用日志聚类
开启日志聚类后，您可以在 日志聚类 页签中进行日志聚类和查看聚类结果。本文介绍支持在 日志聚类 页签对日志进行的常用操作。日志聚类界面 日志聚类功能支持在采集日志时，将相似度高的日志聚合，提取共同的日志模式（Pattern），快速掌握...
时序异常检测的常见问题
首次使用时：请选择足够长的时间范围，以完成异常检测算法初始化，例如分解类算法需要4个周期（一个周期包含波峰、波谷）的数据来完成初始化。您也可以设置参数 verbose=true，并观察输出的 warmup 列，从而判断算法是否已完成初始化...
分解类算法参数调优
在使用分解类算法计算原始数据时，数据点会被分解为趋势项（trend），周期项（season）和残余项（residual）三部分，即原始数据=trend+season+residual。分解完成后，再使用esd算法对残余项进行异常检测：算法会为每一个数据点分解得到的...
使用Grafana进行异常检测算法调优
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
机器学习
聚类问题：提供K-Means算法实现聚类分析；关联分析：提供Apriori算法实现关联分析，解决如“啤酒与尿布”的关联问题；时序分析：提供ARIMA自回归移动平均模型预测时间序列数据的未来值；其他：数据降维如通过PCA主成分分析模型来提炼主因子...
使用Grafana进行异常检测算法调优
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
使用Grafana进行异常检测算法调优
当前Lindorm ML主要提供两类算法：统计类算法和分解类算法，更多请参见 时序异常检测算法分类。如果您的数据带有较强的周期性，比如每天或每周在相对固定的时刻出现峰值或者谷值，那么推荐您优先尝试分解类算法（ostl-esd和istl-esd），...
机器学习（MADlib）
聚类问题：提供K-Means算法实现聚类分析。关联分析：提供Apriori算法实现关联分析，解决如“啤酒与尿布”的关联问题。时序分析：提供ARIMA自回归移动平均模型预测时间序列数据的未来值。其他：数据降维如通过PCA主成分分析模型来提炼主因子...
PS-SMART多分类
注意事项 使用PS-SMART多分类组件时，需要注意以下事宜：虽然PS-SMART多分类组件支持数十万特征任务，但是消耗资源大且运行速度慢，可以使用GBDT类算法进行训练。GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码...
PS-SMART回归
注意事项 使用PS-SMART回归组件时，您需要注意以下事宜：虽然PS-SMART回归组件支持数十万特征任务，但是消耗资源大且运行速度慢，可以使用GBDT类算法进行训练。GBDT类算法适合直接使用连续特征进行训练，除需要对类别特征进行One-Hot编码...
聚类模型评估
基于原始数据和聚类结果，评估聚类模型的优劣性，从而输出评估指标。使用限制 仅原PAI-Studio平台支持查看该组件的可视化报告。背景信息 评估指标Calinski-Harabasz又称VRC（Variance Ratio Criterion），其计算公式如下。参数 描述 SS B ...
CreateSimilarImageClusterTask-创建相似图片聚类任务
使用步骤：创建相似图片聚类任务 通过 GetTaskStatus 接口查询相似图片聚类任务是否执行完成 通过 SearchSimilarImageClusters 接口获取相似图片聚类结果 同一 drive 同一时刻只能有一个相似图片聚类任务运行，若上一任务未结束，再次调用...
查看仪表盘
接入机器的配置数据和监控指标数据后，SREWorks数智服务会基于您的指标数据，自动生成相应的仪表盘，便于您查看集群总览指标和单机指标详情，进行机器热点分析和聚类分析等。前提条件 已接入机器的配置数据和监控指标数据。具体操作，请...
- 产品推荐
- 这些文档可能帮助您