聚类分片
说明 聚类索引分片划分方法需要对doc集合进行kmeans聚类，产生时间消耗，并且由于只检索了一部分索引分片，势必会产生一定的召回损失，所以该方式不适用于所有向量检索场景。聚类分片不支持多类目检索，距离函数不支持除 欧式距离、汉明...
参考：Proxima CE全量参数说明
hash kmeans_resource_name 主要作用 cluster 索引分片模式，cluster 首先通过启动MaxCompute的graph图计算任务对原始数据进行kmeans聚类，该参数用于标识 kmeans 中心点名称。kmeans_resource_name kmeans_sample_ratio 主要作用 cluster ...
向量介绍
适用场景：100%召回率 劣势：大数据量下效率较低、资源（CPU、内存）消耗较严重 聚类算法 量化聚类（Quantized Clustering）介绍：量化聚类（Quantized Clustering）是阿里巴巴开发的基于kmeans聚类的向量检索算法。先利用向量文档聚类n个...
Python 2 UDAF
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
Python 3 UDTF
def process(self,arg):props=arg.split(',')for p in props:self.forward(p)说明 Python 2 UDTF与Python 3 UDTF区别在于底层Python语言版本不一致，请您根据对应版本语言支持的能力编写UDTF。使用限制 Python 3与Python 2不兼容。在您使用...
Python 2 UDTF
具体标准库的可用模块说明如下：所有基于标准Python实现（不依赖扩展模块）的模块都可用。C扩展模块中下列模块可用：array、audioop binascii、bisect cmath、_codecs_cn、_codecs_hk、_codecs_iso2022、_codecs_jp、_codecs_kr、_codecs_...
Python 3 UDAF
from odps.udf import BaseUDAF 为Python UDAF的基类，您需要通过此类在派生类中实现 iterate、merge、terminate 等方法。当UDAF代码中需要引用文件资源或表资源时，需要包含 from odps.distcache import get_cache_file（文件资源）或 ...
介绍
云速搭CADT主要以阿里云控制台作为访问和操作入口，针对部分需要通过API进行批量操作和实现运...CADT命令行工具是在OpenAPI的基础之上，基于Python语言实现的命令行交互式工具，作为用户对接CADT的一个样例。本文将详细讲述此工具的使用说明。
基于文本分析算法实现新闻分类
PAI提供的智能文本挖掘算法可以实现新闻文本分类自动化（包括分词、词型转换、停用词过滤、主题挖掘及聚类等流程）。本工作流首先通过PLDA算法挖掘文章的主题，然后进行主题权重聚类，从而实现新闻自动分类。说明 本工作流数据为虚构数据，...
人脸聚类
您可以通过不同语言的SDK依次调用如下接口实现人脸聚类功能。调用 PutProject 接口创建项目。如果已创建项目，请忽略此步骤。您可以调用 ListProjects 接口列出指定地域下已创建的所有项目信息。说明 您也可以通过智能媒体管理控制台创建...
对象存储OSS使用Python语言实现签名Header上传的示例
概述 对象存储OSS SDK提供了集成签名、上传和下载的SDK，但实际使用中，有时需要使用API的方式实现在签名的情况下进行上传和下载，本文以PutObject接口为例，提供了Python语言实现的示例。说明 建议优先使用OSS提供SDK，本文提供的只是签名...
K-均值聚类
k-均值聚类（Kmeans）算法是非常基础且被大量使用的聚类算法。算法基本原理：以空间中k个点为中心进行聚类，对最靠近它们的点进行归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。将样本集分为k个类别的算法描述...
Proxima Cluster参数
1.聚类 1.1 KmeansCluster/BatchKmeansCluster 参数名 类型 默认值 备注 proxima.general.cluster.count UINT32 0 中心点数量 proxima.kmeans.cluster.count UINT32 0 中心点数量，优先级高于 general，低于 suggest 的 K 值 proxima....
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。使用限制 DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB，该操作受限于DataWorks执行...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 3任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
开发PyODPS 2任务
PyODPS 2底层Python语言版本为Python 2，PyODPS 3底层Python语言版本为Python 3，请您根据实际使用的Python语言版本创建PyODPS节点。若通过PyODPS节点执行SQL无法正常产生数据血缘关系，即数据血缘在数据地图无法正常展示，您可在任务代码...
Centauri对比
Kmeans耗时（秒）AutoTuning耗时（秒）Build耗时（秒）Seek耗时（秒）总时间（分钟）Centauri-1524 12653 5914 336分钟 CE hash-9647 6431 268分钟 说明 Kmeans是Proxima CE聚类分片特有的一个阶段，用于获取原始doc表的聚类中心点表。...
聚类标注功能使用介绍
基本功能实现介绍 功能入口 在左侧导航栏，选择 运营中心>问答标注>聚类标注，进入聚类标注界面，具体界面如下：待标注内容查看 进入聚类标注界面后，点击“待标注”标签，进入待标注界面；根据实际业务需求选择待标注数据 筛选条件 后，...
使用日志聚类
开启日志聚类后，您可以在 日志聚类 页签中进行日志聚类和查看聚类结果。本文介绍支持在 日志聚类 页签对日志进行的常用操作。日志聚类界面 日志聚类功能支持在采集日志时，将相似度高的日志聚合，提取共同的日志模式（Pattern），快速掌握...
日志聚类
本文介绍日志聚类功能及其操作，包括开启日志聚类、查看聚类结果和原始日志、对比不同时间段的聚类日志数量等。前提条件 已创建Standard Logstore。具体操作，请参见 创建Logstore。已采集日志。具体操作，请参见 数据采集。已配置索引。...
无监督聚类函数
聚类函数基于密度进行聚类，发现数据中的模式和异常数据。聚类函数 只支持华东2（上海）地域。聚类函数支持的最大数据量为50万行30列，用于聚类的列不超过6列。用于离线调度的聚类函数。基于密度进行聚类，发现数据中的模式和异常数据。...
K均值聚类
K均值聚类首先随机选择K个对象作为每个簇的初始聚类中心，然后计算剩余对象与各簇中心的距离，将其分配至距离最近的簇，再重新计算每个簇的聚类中心。该算法假设聚类对象为空间向量，且以各聚类内部的均方误差和最小为目标，不断地进行计算...
聚类模型评估
基于原始数据和聚类结果，评估聚类模型的优劣性，从而输出评估指标。使用限制 仅原PAI-Studio平台支持查看该组件的可视化报告。背景信息 评估指标Calinski-Harabasz又称VRC（Variance Ratio Criterion），其计算公式如下。参数 描述 SS B ...
横向聚类
一、组件说明 横向聚类组件是横向场景下的一种无监督机器学习算法，用于将n个数据点分成k个簇，使得簇内的数据点具有高度相似性。聚类算法通过度量数据点之前的相似性或距离来确定数据点之间的关系，将相似的数据点划分到同一簇中。适用于...
DBSCAN聚类
本文为您介绍DBSCAN聚类组件。功能说明 DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。DBSCAN 的核心概念是 core samples,是指位于高密度区域的...
K均值聚类
是 自动 自动 K-Means算法 elkan K-Means算法 其他参数 参数名 参数描述 模型结果 模型结果展示模型聚类效果以及聚类结果，其中“CH分数（即Calinski-Harabasz指标）”和“轮廓系数”反应聚类效果，值越大，说明聚类效果越好。
GMM聚类
本文为您介绍GMM聚类组件。功能说明 GMM（Gaussian Mixture Model）是一个将事物分解为若干的基于 高斯概率密度函数（正态分布曲线）形成的模型，混合高斯分布（MoG）由多个混合成分组成，每一个混合成分对应一个高斯分布。当聚类问题中...
CreateSimilarImageClusterTask-创建相似图片聚类任务
使用步骤：创建相似图片聚类任务 通过 GetTaskStatus 接口查询相似图片聚类任务是否执行完成 通过 SearchSimilarImageClusters 接口获取相似图片聚类结果 同一 drive 同一时刻只能有一个相似图片聚类任务运行，若上一任务未结束，再次调用...
查看仪表盘
接入机器的配置数据和监控指标数据后，SREWorks数智服务会基于您的指标数据，自动生成相应的仪表盘，便于您查看集群总览指标和单机指标详情，进行机器热点分析和聚类分析等。前提条件 已接入机器的配置数据和监控指标数据。具体操作，请...
横向聚类评估
一、组件说明 横向聚类模型的评估任务，可以输出轮廓系数、Calinski Harabaz等指标。支持使用单方或多方联合数据，评估横向聚类模型。组件截图 二、参数说明 参数名称 参数说明 预测结果列 预测回归值predict_result，整型输出。
QueryLocationDateClusters-查询时空聚类
查询时空聚类列表信息，支持多种条件，详情请参考请求参数。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调用该接口前，请先通过 CreateLocationDateClusteringTask 接口进行时空聚类。调试 您可以在...
聚类标注方法介绍
标注动作包括：正确 错误-修改知识 错误-已处理 未覆盖-新增知识 未覆盖-已处理 无效 待定 标注步骤 第1步：选择高频用户问法 在【聚类问法组】中选择高频聚类问法，查看用户问法与知识的匹配类型及匹配明细。第2步：判断用户问法与知识的...
使用前须知
聚类分析：包括单指标维度的机器热点分析和多指标维度的机器聚类分析。提供数据规范：指标数据规范详情，包括指标标签和指标定义。功能优势 简单：一站式开通、数据规范明确、数据接入和使用门槛低。高效：秒级聚类、高效可靠。灵活：不仅...
CreateLocationDateClusteringTask-创建时空聚类任务
时空聚类功能，可以将您已索引到数据集内的图片、视频等携带了拍摄时间、拍摄地点信息等文件，按照时间、地理位置进行分类。这些分类可以理解为用户的一次旅行所拍摄的内容（它们时间接近、地点接近），也可以理解为用户在不同生活、工作地...
API概览
智能管理 智能管理 人脸聚类 人脸聚类 CreateFigureClusteringTask 创建人物人脸聚类任务 创建一个人物人脸聚类任务，通过智能算法，可以在您已索引到数据集的图片中，将属于不同人物的人脸进行聚类分组。CreateFigureClustersMergingTask ...
创建相似图片聚类任务
相似图片聚类功能，可以将您已索引到数据集内的图片按照相似度生成聚类，用于图片去重、选优等场景，例如可以通过该功能筛选相册中连拍的图片。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。调用该接口前...
建一个包含自定义算子的任务
autodrive/parallel_compute EXPOSE 5000#example.DataProcessor 算子所在模块#DataProcessor 算子实现类 CMD["python","service_startup.py","example.DataProcessor","DataProcessor"]说明 为了提升镜像打包速度，可以将上一个版本当作...
图片管理常见问题
CreateFigureClusteringTask-创建人物聚类任务 接口为增量分组接口，您可以在一批图片完成索引后，一次性调用CreateFigureClusteringTask接口来进行批量聚类。推荐如下两个方案：简单方法：对每一个数据集，每隔固定间隔（例如5分钟）调用...
自定义算子管理
autodrive/parallel_compute EXPOSE 5000#example.DataProcessor 算子所在模块#DataProcessor 算子实现类 CMD["python","service_startup.py","example.DataProcessor","DataProcessor"]提示：为了提升镜像打包速度，可以将上一个版本当作...
- 产品推荐
- 这些文档可能帮助您