TairVector性能白皮书
说明 您在使用过程中可以根据需求调整索引参数，平衡查询性能与召回率。内存效率 HNSW索引的内存使用量只受参数M的影响，M值越大，HNSW索引的内存占用越大。以下为不同数据集下，TairVector HNSW索引的内存占用量，可以得出：相比较FLOAT32...
量化使用
Proxima 2.x开始支持converter，用于实现对数据做量化、归一化等功能。...对于某种向量检索算法而言，它的召回率指的是：对于某个query，它通过该算法召回的doc与通过暴力比对召回的doc之间的近似程度，召回率越高说明该检索算法越准确。
聚类分片全链路测试
结果分析：对于聚类中心点个数与分片个数固定的情况下，中心点访问率越高，实际索引分片被访问的越多，召回率越高，同时耗时也越高。采样率50，10000个聚类，建100片索引。中心点访问率 实际访问索引分片数 召回 0.03 61.93 1:1.0 50:0....
常见问题
only问题的排查与处理方法 集群负载不均问题的分析方法及解决方案 通过手动迁移shard均匀分布热点数据的解决方案 指标含义与异常处理建议 fielddata内存使用率高问题的排查与处理方法 重启变更报错：集群状态不健康或存在close索引，不能...
错误响应
当用户访问图片处理服务出现错误的时候，图片处理服务会返回给用户相应的错误码和错误信息，以帮助用户定位与处理问题。错误响应 图片处理服务错误响应的消息体示例如下：<Error><Code>BadRequest</Code><Message>Input is not base64 ...
Proxima向量计算
精确查询（不使用向量索引）精确查询更加适用于SQL扫描数据量少，且对召回率要求高的场景。欧式距离、平方欧式距离、内积距离三种距离计算方式分别对应以下三种距离计算函数。float4 pm_squared_euclidean_distance(float4[],float4[])...
查看监控信息
CPU抖动诊断 通过 CPU抖动诊断 视图提供的监控指标，分析处理CPU抖动问题，与CPU使用率强关联的指标有两类：业务指标：Page Request：通常情况下，Buffer Pool请求数的趋势和CPU使用率同频波动。Rows Processed：查看CPU使用率和系统处理行...
模型训练
如果您的分类问题为单标签分类问题（即每一个样本都只有一个标签与之相对应），这时“预测的总样本数”与“所有类别的总样本数”是一样的，所以整体的精确率和召回率是一样的，导致 F1 值也跟精确率和召回率一样。如果您的分类问题为多标签...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
使用向量检索插件（aliyun-knn）
性能指标 hnsw linear top10召回率 98.6%100%top50召回率 97.9%100%top100召回率 97.4%100%延迟（p99）0.093s 0.934s 延迟（p90）0.018s 0.305s 说明 表中的p表示百分比，例如延迟（p99）表示99%的查询能在多少秒返回。前提条件 安装向量...
自学习平台使用流程
4.2 模型查看 您可以查看模型的相关评估指标，主要有精确率、召回率和F1值；同时，您也可以新增模型版本，进行版本管理。重要 注意：如果训练数据在100份以内，模型效果可能欠佳，且评估指标波动较大，基本无参考意义。若需要良好稳定的...
指标含义与异常处理建议
对于磁盘使用率过高导致集群异常的情况，建议参见 集群磁盘使用率过高和read_only问题的排查与处理方法 排查解决。对于1核2 GB规格的实例，遇到实例状态不正常的问题时，建议先按照1:4（CPU:Mem）的规格 升配集群，增大实例规格。升配后，...
常见问题
该方法解决不彻底，如果是底层算法构图不连通，那么无论减少多少也可能不会得到200个，另外如果有，为特例case降低召回率对其他向量召回的效果也有影响，需要自行评估。改变构造索引算法。例如采用HC方式构图，可通过-algo_model 命令行...
通用行业/内容社区行业算法版对比
提供了内容行业专属的智能语义理解能力、向量召回、排序算法，为内容行业的搜索性能和效果准确性提供双重保障，并有效的解决了超大词库数据导致的搜索延迟高、资源消耗大导致的搜索无结果率高等行业重难点问题，提供多模态搜索解决方案。...
云监控
召回率：向量服务的召回率，表示向量召回的召回结果占实际向量召回结果的百分比。如智能引擎召回的100个结果中，有90个在向量距离最短的100个结果集中，则召回率为90%。表相关监控 增量qps：detail表的增量qps。增量延迟：detail表增量延迟...
向量计算使用指南
精确查询（不使用向量索引）精确查询更加适用于SQL扫描数据量少，且对召回率要求高的场景。欧式距离、平方欧式距离、内积距离三种距离计算方式分别对应以下三种距离计算函数。float4 pm_squared_euclidean_distance(float4[],float4[])...
内容社区行业
向量召回top1 3d游戏动画处理基础 向量召回top2 3d游戏动画的基础 向量召回top3 动画游戏处理 query 禁用n卡 向量召回top1 网卡的禁止和启动 向量召回top2 禁用网卡 向量召回top3 禁用及启用网卡 基于Seq行为建模，实现个性化搜索 例如：...
2023年
无 优化器 优化分区非常多的分区表与ODPS外表 JOIN时，Explain耗时长的问题。无 缺陷修复 修复某些场景下ALTER TABLE Add Partition与Vacuum Full pg_index死锁导致实例不可用的缺陷。修复tdfunc插件中，NVL 函数处理NULL值异常导致...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
with()内支持设置的与问题模板有关的参数如下（其他参数说明请参见 在线使用LLM-based NL2SQL）：参数名称 参数描述 取值范围 pattern_index_top 召回问题模板的最相近个数。取值范围：[1,10]。默认值为2，表示对当前问题模板只选出最优的2...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
表格信息抽取
召回率：算法模型当前类型字段召回率（Recall），未经规则后处理修正，为所有真实为正类别的样本中，被正确识别为正类别的概率，即当类表格测试集中被正确识别的该类标注框（内容+位置）的比例。F1值：综合评价指标（F1-Measure），为精确...
表格信息抽取
召回率：算法模型当前类型字段召回率（Recall），未经规则后处理修正，为所有真实为正类别的样本中，被正确识别为正类别的概率，即当类表格测试集中被正确识别的该类标注框（内容+位置）的比例。F1值：综合评价指标（F1-Measure），为精确...
搜索增强
其中文本相关性召回是从文本分词后的词粒度的一致性上做文档召回，语义向量召回是指将文本转为语义向量后在向量空间里的寻找空间距离最靠近的文档作为召回。推荐值：目前建议50%，表示文本召回和语义向量召回的文档数各占总召回数量的一半...
教育搜题
客户效果对比 某在线教育平台，主打K12教育，用户数千万级别，题库量8千万左右且持续增加，由自建题库和第三方题库两部分组成，之前通过OCR+自建ES搜索服务实现拍照搜索功能，面临的主要问题是搜索准确率待优化提升，降低搜索延迟等问题。...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
概览
连接数使用率 CPU使用率 IOPS使用率 内存使用率 MySQL每秒查询量 MySQL每秒事务数 高于上边界 对象存储OSS或CDN业务异常发现 作为业务的存储依赖和加速内容分发优化组件，对象存储OSS和CDN的异常会直接影响业务功能的可用性，但一般情况下...
常见问题
Zookeeper读写数据问题，处理方法请参见 RM处于Standby状态，无法自动恢复Active状态，该如何处理？SUBMITTED：该状态极少遇到，可能原因为Node Update请求太多造成Capacity Scheduler内部抢锁堵塞，通常发生在大规模集群，需优化相关流程...
多分类评估
一、组件说明 多分类模型的评估任务，可以输出准确率、召回率值等。组件截图 二、参数说明 参数名称 参数说明 标签字段 样本的label标签，用于当做Ground Truth，用于评估。单选。预测结果详情列 每个label及其对应的概率值。若需要计算AUC...
TairVector混合检索实践
您仅需通过一条查询语句即可实现三路结果召回，例如通过待检索的图片、文本、音视频等文件进行向量检索召回、通过输入的文本进行全文检索召回、通过布尔表达式进行条件过滤召回等，Tair向量检索还会对三路召回结果进行权重排序，返回最终的...
新功能发布记录
2021.08.10 标准版、高级版用户 场景业务定制 召回效果精细分析 支持根据各个召回链路、召回链路中的子链路（如用户偏好召回中的，偏好品牌召回），最终获得用户点击、转化的效果分析，从而辅助评判召回链路效果，调整实验中链路优先级。...
下拉提示
使用建议 为进一步提升下拉提示效果（提升下拉提示引导搜索量、搜索结果点击率等），强烈建议将下拉提示请求与搜索请求关联。关联方法见文尾：下拉提示请求与搜索请求关联部分；选择内容简洁，和文档主题相关的字段；合理使用抽取生成和...
参考：Proxima CE全量参数说明
防止跨网络访问数据表时download session建立失败，详情可参考 MaxCompute Tunnel Endpoint问题。无 memory_load 指定seek阶段索引加载方式，默认为true，纯内存加载，当集群内存资源紧张时可视情况设为false。true sharding_mode 索引分片...
FeatureStore概述
搜索引擎排序场景：该场景下的特征数据包括关键词匹配度、点击率、销售量等，通过使用FeatureStore训练排序模型，对 ES/OpenSearch 等搜索引擎召回结果，用召回结果请求EAS中tensorflow模型的打分服务，根据用户的搜索意图和个人喜好，为其...
向量动态量化
背景介绍 量化（Quantization）是向量检索技术中一种常用的优化方法，通过一定程度的精度（召回率）损失，来换取性能的大幅度提升，以及内存占用（索引文件大小）大幅度降低。向量检索服务DashVector支持向量的动态量化，用户仅需在 新建...
模型管理
1.单模型详情 模型在产出的同时上传的数据会按照8:2的比例拆分为训练集和测试集 20%的...模型列表 呈现公有云平台上的所有模型，可对模型进行新增、删除、下载配置文件、查看等操作 展示单个模型的名称、状态、mAP值、精确率和召回率等信息
高维向量相似度搜索（pgvector）
说明 召回率是指在信息检索或分类任务中，正确检索或分类的样本数量与所有相关样本数量之比。召回率衡量了系统能够找到所有相关样本的能力，它是一个重要的评估指标。构建索引需要的内存较多，当 lists 参数值超过2000时，会直接报错 ERROR...
规格计算器
向量算法：可根据需求进行选择，目前支持三种算法：HNSW：基于图的向量检索算法，召回率极高且性能很好，内存及存储占用与Linear相当，在低维度和高维度向量数据集上均有很好的表现，适用于大多数向量检索场景。QC：基于量化聚类的向量检索...
向量介绍
内积度量的计算公式如下：向量检索算法的选择 向量检索算法 优势 劣势 场景 量化聚类（Quantized Clustering）CPU、内存资源占用较低 召回率较HNSW低 查询速度较HNSW慢 适用于亿级别数据集，对数据准确性和查询延迟要求不是非常高的场景 ...
API概览
人工审核 接口 说明/green/image/manual/asyncScan 如果您对识别结果的准确率和召回率要求非常高，可以调用图片人工审核功能。green/video/manual/asyncScan 如果您对识别结果的准确率和召回率要求非常高，可以调用视频人工审核功能。green...
AI任务概述
模型管理 模型评测 您可以通过Arena提交模型评测任务，对模型准确率、召回率等指标进行评测，查看或对比相应的评测结果。模型评测 模型分析优化 在模型正式部署前，您可以通过Arena提交模型性能分析和优化任务，使用Tensorflow Profiler，...
- 产品推荐
- 这些文档可能帮助您