使用日志聚类

开启日志聚类后,您可以在 日志聚类 页签中进行日志聚类和查看聚类结果。本文介绍支持在 日志聚类 页签对日志进行的常用操作。日志聚类界面 日志聚类功能支持在采集日志时,将相似度高的日志聚合,提取共同的日志模式(Pattern),快速掌握...

日志聚类

本文介绍日志聚类功能及其操作,包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作,请参见 创建Logstore。已采集日志。具体操作,请参见 数据采集。已配置索引。...

DBSCAN聚类

是 自动 自动 球树 KD树 暴力搜索 聚类效果 聚类效果展示当前数据聚类处理后的效果。可在组件运行成功后查看。“CH分数(即Calinski-Harabasz指标)”和“轮廓系数”反应聚类效果,值越大,说明聚类效果越好。可参考其结果调整组件参数配置...

常见问题

什么数据同步的价格要高于数据迁移的价格?因为数据同步具有更多的高级特性,例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步;且数据同步基于内网传输,可以保证更低的网络延时。账户欠费有什么影响?账户欠费的影响...

新旧版本使用指引

CreateFacesSearchingTask-创建相似人脸图片检索任务 FindSimilarFaces-查找和指定人脸相似的人脸-时空聚类 时空聚类 无 新版支持基于数据集中照片的拍摄时间、地理位置等元数据信息创建时空聚类分组,并对聚类分组进行查询,更新和删除...

时序聚类函数

时序聚类函数针对输入的多条时序数据进行聚类,自动聚类出不同的曲线形态,进而快速找到相应的聚类中心和异于聚类中的其它形态曲线。关于函数的算法及实现原理请参见 LOG机器学习介绍(02):时序聚类建模。函数列表 函数 说明 ts_density_...

聚类模型评估

基于原始数据聚类结果,评估聚类模型的优劣性,从而输出评估指标。使用限制 仅原PAI-Studio平台支持查看该组件的可视化报告。背景信息 评估指标Calinski-Harabasz又称VRC(Variance Ratio Criterion),其计算公式如下。参数 描述 SS B ...

使用前须知

SREWorks数智应用提供一站式的...聚类分析(仪表盘):用于可视化展示机器指标分析结果。费用说明 SREWorks数智应用本身免费。SREWorks数智应用所涉及的数据存储、索引等操作,日志服务将根据对应计费项进行收费。更多信息,请参见 计费项。

概述

时序聚类函数 ts_density_cluster 使用密度聚类方法对多条时序数据进行聚类。ts_hierarchical_cluster 使用层次聚类方法对多条时序数据进行聚类。ts_similar_instance 查找到指定曲线名称的相似曲线。核密度估计函数 kernel_density_...

无监督聚类函数

函数示例:设备数据聚类 下载经过处理的设备使用信息。同一类型的物联网设备被不同群体的用户使用,可能具有不同的数据特征。通过对设备上报的数据进行聚类分析,有助于分析业务中出现的用户画像。将数据导入到数据服务的自定义存储表中,...

算法说明

哈希聚类算法 哈希聚类算法基于日志聚类功能,日志聚类功能对日志数据进行在线聚类,哈希聚类算法在 日志聚类 结果的基础上进行二次聚类,同时持续分析、监控日志数据。哈希聚类算法不依赖外部日志模板库。相似度匹配算法 相似度匹配算法...

数据模型

数据库在存储数据时,会将同一条时间线的数据尽量聚类存储,提升时间线数据访问效率,同时更好的支持时序数据压缩。在时序表中,Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作,包括聚合...

K均值聚类

功能说明 K均值聚类是一种矢量量化方法,在数据挖掘的聚类分析中很流行。K均值聚类通过试图分离 n 个相等方差组的样本来聚集数据,用最小化或者簇内和平方的标准。该算法需要指定簇的数量,它可以很好地扩展到大量样本,并已经被广泛应用于...

GMM聚类

图:GMM聚类过程 参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征变量。是 整数或浮点数 说明 若存在非数值数据,则会抛出异常。CSV组件。IGateInOffline组件。平台上其他数据处理组件。按照平台...

K均值聚类算法(K-Means)

该算法原理为:先将数据分为K组,随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的距离,将每一个对象分配给距离它最近的聚类中心,聚类中心以及分配给它们的对象就代表一个聚类。即K-Means算法将输入表的...

查看仪表盘

接入机器的配置数据和监控指标数据后,SREWorks数智服务会基于您的指标数据,自动生成相应的仪表盘,便于您查看集群总览指标和单机指标详情,进行机器热点分析和聚类分析等。前提条件 已接入机器的配置数据和监控指标数据。具体操作,请...

聚类标注功能使用介绍

聚类标注结果会通过优化知识数据而优化算法和匹配机制的运用效果,但并不会直接作用于算法和匹配机制。基本功能实现介绍 功能入口 在左侧导航栏,选择 运营中心>问答标注>聚类标注,进入聚类标注界面,具体界面如下:待标注内容查看 进入...

高维向量检索(PASE)

取值范围为(0,1000]内的整数,例如值为1,表示对表中的数据按照千分之一的比例采样后进行kmeans聚类。值越大查询准确率越高,但创建索引的时间越长,建议采样的数据总量不要超过10万条。k:聚类中心数,值越大查询准确率越高,但创建索引...

高维向量检索(PASE)

取值范围为(0,1000]内的整数,例如值为1,表示对表中的数据按照千分之一的比例采样后进行kmeans聚类。值越大查询准确率越高,但创建索引的时间越长,建议采样的数据总量不要超过10万条。k:聚类中心数,值越大查询准确率越高,但创建索引...

高效向量检索(PASE)

取值范围为(0,1000]内的整数,例如值为1,表示对表中的数据按照千分之一的比例采样后进行kmeans聚类。值越大查询准确率越高,但创建索引的时间越长,建议采样的数据总量不要超过10万条。k:聚类中心数,值越大查询准确率越高,但创建索引...

横向聚类

一、组件说明 横向聚类组件是横向场景下的一种无监督机器学习算法,用于将n个数据点分成k个簇,使得簇内的数据点具有高度相似性。聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系,将相似的数据点划分到同一簇中。适用于...

文档修订记录

数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种一级脱敏场景,若该场景生效的数据范围及用户范围无法满足您更细化的脱敏需求,则也可基于一级场景自定义二级脱敏场景使用。创建数据脱敏场景 2023.11.20 新增...

API概览

图片聚类 图片聚类 CreateSimilarImageClusteringTask 创建相似图片聚类任务 相似图片聚类功能,可以将您已索引到数据集内的图片按照相似度生成聚类,用于图片去重、选优等场景,例如可以通过该功能筛选相册中连拍的图片。...

图片管理常见问题

不支持跨数据集进行搜索查询和人脸聚类,建议以此为依据进行划分。例如云相册场景,建议每个终端用户创建一个媒体集。人脸聚类什么无法生成人脸分组?为了确保人脸分组的准确性,生成分组需要满足如下条件:使用 IndexFileMeta-索引文件...

分区索引

业务数据有明显的聚类特性,例如商家数据表以商家ID为聚类,查询条件中包括商家ID。IoT设备数据表以设备ID为聚类,查询条件中包括设备ID。数据分区策略 HASH分区 时间范围分区 多级HASH分区(高级用法)准备工作 使用分区索引前需要创建...

数据类型

QUANTILE_STATE/QUANTILE_STATE是一种计算分位数近似值的类型,在导入时会对相同的Key,不同Value进行预聚合,当Value数量不超过2048时采用明细记录所有数据,当Value数量大于2048时采用TDigest算法,对数据进行聚合(聚类)保存聚类后的...

资产安全概述

通过数据分类分级、敏感数据识别、敏感数据脱敏等措施,帮助客户建立完善的数据安全体系,确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务,详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...

查看数据分类内置模型

金融模型:包括 业务(账号信息、金融监管和服务、交易信息、合约协议、法定数字货币钱包信息)、客户(个人、单位)、经营管理(综合管理、运营管理、营销服务、技术管理、风险管理信息)。通用和金融模型的页面展示一致,下面 通用...

管理数据分类目录

数据分类目录用于从业务或组织架构视角出发,对数据进行分类、分层管理。本文为您介绍如何创建及管理数据分类目录。权限说明 安全管理员可新建、编辑、删除数据分类目录。使用限制 数据分类目录层级不超过10级。新建数据分类目录 在...

常见问题

数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段,扫描MaxCompute、OSS、阿里云数据库服务(RDS、PolarDB-X、PolarDB、OceanBase、表格存储等)和自建数据库中的数据,通过敏感数据规则,判断和打标敏感数据,为数据安全审计、...

Centauri对比

16亿*16亿数据集规模过大,只有CE的聚类分片方式可以成功运行,以下为基本运行数据信息。测试方法 聚类/AutoTunning耗时(秒)Build耗时(秒)Seek耗时(秒)Centauri 1127 19962 跑了两次均失败,OOM。CE 哈希 无 14637 跑了一次均失败,...

聚类分片

Proxima CE支持使用聚类分片方式检索任务,本文为您介绍聚类分片检索功能的使用方法及示例。前提条件 已安装Proxima CE包并准备输入表,详情请参见 安装Proxima CE包。基本原理 Proxima CE在检索时有两种划分数据分片的方式:哈希分片与...

新建及管理数据分类

数据分类用于定义数据在安全领域的业务属性,可对数据进行多级分类打标,更贴合行业标准,本文为您介绍如何新建及管理数据分类。权限说明 安全管理员可新建、编辑、删除数据分类。新建数据分类 在Dataphin首页,单击 资产。按照下图指引,...

配置敏感数据分类分级

数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围对数据进行敏感级别和类型的划分,不同敏感级别的数据其管控原则和数据开发要求存在差异,划分分类分级后,后续可通过分类分级管控不同程度的敏感数据。本文为您介绍如何...

阶段一:基础防护建设

在该阶段,DataWorks为您提供了数据分类分级、规范数据开发流程、企业级身份认证、开源身份隔离等多个场景的最佳实践,帮助企业做好数据安全治理的相关基础防护工作。场景一:数据分级分类 无论在任何行业,数据分级分类都是监管首要检查的...

数据使用诊断

DataWorks的数据使用诊断,为您提供了对当前DataWorks工作空间的数据内容及数据隐私的安全保护能力,以及诊断相关安全问题的最佳实践及解决方案,帮助您快速建立数据使用时和使用后的基本安全体系。进入数据使用诊断 登录 DataWorks控制台...

操作流程

流程图 流程说明 操作 说明 添加数据 添加矢量数据 添加矢量类数据,具体操作,请参见 添加矢量数据。添加栅格数据 添加栅格空间数据,具体操作,请参见 添加栅格数据。添加倾斜摄影数据 添加倾斜摄影类数据。具体操作,请参见 添加倾斜...

敏感数据保护概览

如果您有对敏感数据进行管控和脱敏的需求,可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描,识别、脱敏和管理敏感数据。支持的数据库 关系型数据库:MySQL系列:RDS MySQL、PolarDB MySQL版、其他来源MySQL SQL Server系列:RDS...

敏感数据保护

Dataphin支持敏感数据的识别和敏感数据的脱敏保护,可以结合权限管控方案一起,构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理,内置了常用的个人信息数据分类,同时支持客户自定义企业的数据分类分级...

快速实现数据分类分级

数据安全中心DSC(Data Security Center)是一款数据安全中心产品,可以通过收集和分析数据库的信息,提供云上数据的分类分级(包括敏感数据识别)能力。本文介绍如何快速在DSC控制台实现数据分类分级。前提条件 已规划好要接入数据安全...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用