常见问题
本文介绍SREWork应用的常见问题。错误信息：Query exceeded local memory limit of 3GB（查询A）错误原因 当前查询和分析语句所使用服务端的内存超过3 GB...解决方法 建议精简聚类分析指标数量和缩短聚类分析的时间周期（一般建议在1h以内）。
使用前须知
聚类分析：包括单指标维度的机器热点分析和多指标维度的机器聚类分析。提供数据规范：指标数据规范详情，包括指标标签和指标定义。功能优势 简单：一站式开通、数据规范明确、数据接入和使用门槛低。高效：秒级聚类、高效可靠。灵活：不仅...
分析预警
本文为您介绍辅助线、趋势线、预测、异常检测、波动原因、聚类六种 分析方式。背景信息 分析预警支持从多个角度对当前数据进行分析，通过该功能可以直观了解数据的变化趋势和异常点。分析预警目前支持辅助线、趋势线、预测、异常检测、波动...
无监督聚类函数
聚类函数基于密度进行聚类，发现数据中的模式和异常数据。聚类函数 只支持华东2（上海）地域。聚类函数支持的最大数据量为50万行30列，用于聚类的列不超过6列。用于离线调度的聚类函数。基于密度进行聚类，发现数据中的模式和异常数据。...
K均值聚类
功能说明 K均值聚类是一种矢量量化方法，在数据挖掘的聚类分析中很流行。K均值聚类通过试图分离 n 个相等方差组的样本来聚集数据，用最小化或者簇内和平方的标准。该算法需要指定簇的数量，它可以很好地扩展到大量样本，并已经被广泛应用于...
K均值聚类算法（K-Means）
该算法原理为：先将数据分为K组，随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，将每一个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...
气泡图
聚类分析 聚类分析会根据X轴和Y轴的度量分布对相似度量数量进行聚类显示，开启聚类分析后颜色字段会被替换为聚类。说明 聚类分析 功能目前处于Beta版本，且 X 轴和Y轴都为度量且未配置播放轴时才能开启聚类分析。使用限制 气泡图由 Y轴/...
散点图
聚类分析 聚类分析会根据X轴和Y轴的度量分布对相似度量数量进行聚类显示，开启聚类分析后颜色字段会被替换为聚类。说明 聚类分析 功能目前处于Beta版本，且 X轴和Y轴都为度量并未配置播放轴时才能开启聚类分析。使用限制 散点图由 Y轴/度量...
机器学习
聚类问题：提供K-Means算法实现聚类分析；关联分析：提供Apriori算法实现关联分析，解决如“啤酒与尿布”的关联问题；时序分析：提供ARIMA自回归移动平均模型预测时间序列数据的未来值；其他：数据降维如通过PCA主成分分析模型来提炼主因子...
查看仪表盘
接入机器的配置数据和监控指标数据后，SREWorks数智服务会基于您的指标数据，自动生成相应的仪表盘，便于您查看集群总览指标和单机指标详情，进行机器热点分析和聚类分析等。前提条件 已接入机器的配置数据和监控指标数据。具体操作，请...
使用日志聚类
开启日志聚类后，您可以在 日志聚类 页签中进行日志聚类和查看聚类结果。本文介绍支持在 日志聚类 页签对日志进行的常用操作。日志聚类界面 日志聚类功能支持在采集日志时，将相似度高的日志聚合，提取共同的日志模式（Pattern），快速掌握...
概述
一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、分享等操作，帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。自动布局的仪表盘，适用于大多数通过快速配置即可查看和分享的可视化报表。自由布局的大屏，...
数据可视化概览
一次配置即可实现可视组件高级过滤、高级控制、联动、钻取、分享等，帮助业务人员快速完成对比、地理分析、分布、趋势以及聚类等分析和决策。自动布局的仪表盘，适用于大多数通过快速配置即可查看和分享的可视化报表。自由布局的大屏，适用...
聚类分片全链路测试
测试结论 Proxima CE在不同的数据集上，针对不同的采样率、聚类中心点个数以及索引分片个数，观察聚类分片方式的召回情况与耗时情况，经测试验证Proxima CE聚类分片的正确性测试符合预期。以下是几条经验准则：聚类中心点个数与召回呈正...
图片管理常见问题
CreateFigureClusteringTask-创建人物聚类任务 接口为增量分组接口，您可以在一批图片完成索引后，一次性调用CreateFigureClusteringTask接口来进行批量聚类。推荐如下两个方案：简单方法：对每一个数据集，每隔固定间隔（例如5分钟）调用...
QueryLocationDateClusters-查询时空聚类
查询时空聚类列表信息，支持多种条件，详情请参考请求参数。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调用该接口前，请先通过 CreateLocationDateClusteringTask 接口进行时空聚类。调试 您可以在...
K均值聚类
K均值聚类首先随机选择K个对象作为每个簇的初始聚类中心，然后计算剩余对象与各簇中心的距离，将其分配至距离最近的簇，再重新计算每个簇的聚类中心。该算法假设聚类对象为空间向量，且以各聚类内部的均方误差和最小为目标，不断地进行计算...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
政务舆情分析系统的数据库解决方案
抽取后的结果进入TableStore存储后，同时推送至MaxCompute进行舆情分析，例如情感分析，文本聚类等。开放搜索（Opensearch）或 Elasticsearch：舆情分析产生的舆情报表数据、用户情感数据统计等结果，会写入TableStore和搜索引擎...
聚类标注功能使用介绍
关键词：默认为空，可以输入关键词，模糊匹配出包含该关键词的聚类问法组。答案视角：默认全部视角，支持多选。更新时间：数据发生变化的时间，数据变化来自用户问法的产生、标注操作或合并累加，可查询近三个月数据。待标注内容中有关标题...
算法说明
哈希聚类算法 哈希聚类算法基于日志聚类功能，日志聚类功能对日志数据进行在线聚类，哈希聚类算法在 日志聚类 结果的基础上进行二次聚类，同时持续分析、监控日志数据。哈希聚类算法不依赖外部日志模板库。相似度匹配算法 相似度匹配算法...
工况识别-训练
否 10[1,100]聚类方法：k均值聚类、均值漂移聚类、高斯混合聚类 参数名 参数描述 是否必填 参数默认值 参数范围 聚类数下限 聚类类别数量下限。用于寻找最优聚类类别数。否 2[2,15]聚类数上限 聚类类别数量上限。用于寻找最优聚类类别数。...
横向聚类
一、组件说明 横向聚类组件是横向场景下的一种无监督机器学习算法，用于将n个数据点分成k个簇，使得簇内的数据点具有高度相似性。聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系，将相似的数据点划分到同一簇中。适用于...
查询防护日志
日志聚类 在 日志聚类 页签中，单击 开启日志聚类，可实现在采集日志时聚合相似度高的日志。具体操作，请参见 日志聚类。告警 在查询和分析页面，单击 图标，为查询和分析结果设置告警。具体操作，请参见 快速设置日志告警。快速查询 在...
日志查询
为 Web 应用防火墙 WAF（Web Application Firewall）防护对象开启日志采集后，您可以通过日志查询，对防护对象的日志数据进行查询与分析，并基于查询与分析结果生成统计图表、创建告警等。前提条件 已开启WAF日志服务。相关操作，请参见 ...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
UpdateFigureCluster-更新人物聚类
更新一个人脸聚类分组的信息，可以更新分组的名称、标签等信息。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调用该接口前，请确保您已通过创建人物人脸聚类任务（CreateFigureClusteringTask）将数据...
概述
针对时序数据分析场景，日志服务提供了丰富的时序分析算法，可以帮助您快速解决时序预测、时序异常检测、序列分解、多时序聚类等场景问题，兼容SQL标准接口，大大降低了您使用算法的门槛，提高分析问题和解决问题的效率。功能特点 支持单...
查询和分析日志
创建索引后，您可以在查询和分析页面对采集到的日志进行实时查询和分析。前提条件 已 创建索引。如果您要分析日志，则需创建 字段索引 并 开启统计。操作视频 您可以参见如下视频完成查询和分析操作。步骤一：输入查询和分析语句 登录 日志...
DBSCAN聚类
本文为您介绍DBSCAN聚类组件。功能说明 DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。DBSCAN 的核心概念是 core samples,是指位于高密度区域的...
语义挖掘工具
语义挖掘工具是通过对批量对话信息进行挖掘，聚类出这些对话中的意图，并将对话中的话术归入系统意图中。新建任务 点击语义挖掘工具右上角的新建任务即可唤出新建语义挖掘任务的弹窗，输入任务名称并选择数据源并按照数据源类型操作完成后...
时序聚类函数
时序聚类函数针对输入的多条时序数据进行聚类，自动聚类出不同的曲线形态，进而快速找到相应的聚类中心和异于聚类中的其它形态曲线。关于函数的算法及实现原理请参见 LOG机器学习介绍（02）：时序聚类建模。函数列表 函数 说明 ts_density_...
CreateFigureClustersMergingTask-合并人物聚类
将两个或两个以上人物聚类分组合并为一个人物聚类分组。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调用该接口前，请确保您已通过创建人物人脸聚类任务（CreateFigureClusteringTask）将数据集中的所有...
GMM聚类
本文为您介绍GMM聚类组件。功能说明 GMM（Gaussian Mixture Model）是一个将事物分解为若干的基于 高斯概率密度函数（正态分布曲线）形成的模型，混合高斯分布（MoG）由多个混合成分组成，每一个混合成分对应一个高斯分布。当聚类问题中...
CreateSimilarImageClusterTask-创建相似图片聚类任务
使用步骤：创建相似图片聚类任务 通过 GetTaskStatus 接口查询相似图片聚类任务是否执行完成 通过 SearchSimilarImageClusters 接口获取相似图片聚类结果 同一 drive 同一时刻只能有一个相似图片聚类任务运行，若上一任务未结束，再次调用...
聚类模型评估
基于原始数据和聚类结果，评估聚类模型的优劣性，从而输出评估指标。使用限制 仅原PAI-Studio平台支持查看该组件的可视化报告。背景信息 评估指标Calinski-Harabasz又称VRC（Variance Ratio Criterion），其计算公式如下。参数 描述 SS B ...
查询与分析审计日志
使用日志聚类 在 日志聚类 页签中，单击 开启日志聚类，可实现在采集日志时聚合相似度高的日志。更多信息，请参见 使用日志聚类。更多操作 配置默认查询设置 系统默认首次进入页面会启用查询功能且默认查询15分钟内的日志，您可以根据需要...
2023年7月19日产品更新公告
相较于 服务能力，聚类标注 不仅支持无答案和推荐未点击的用户语句查看，还可直接进行标注操作，优化知识内容，修复badcase，有关聚类标注功能具体介绍可参考《聚类标注》。具体产品界面如下图所示：其它功能更新点 数据看板中有关数据筛选...
CreateLocationDateClusteringTask-创建时空聚类任务
时空聚类功能，可以将您已索引到数据集内的图片、视频等携带了拍摄时间、拍摄地点信息等文件，按照时间、地理位置进行分类。这些分类可以理解为用户的一次旅行所拍摄的内容（它们时间接近、地点接近），也可以理解为用户在不同生活、工作地...
通过消费组读取文本日志进行模板发现
通识字段模板 在文本分析作业对日志进行预处理时，日志相似聚类算法会使用模板表达式匹配日志中的文本内容并将其替换为模板名称，有助于提高分析的准确性。例如 模板名称 为IP，模板表达式 为(?[^A-Za-z0-9])|^)(\d{1,3}\.\d{1,3}\.\d{1,3}...
- 产品推荐
- 这些文档可能帮助您