2024年
使用pg_jieba插件进行中文分词 Btree-GIST插件 Btree-GIST插件提供了一种使用GIST索引结构来模拟B树（B-tree）索引行为的方法。Btree-GIST 优化 资源组管理 通过调整默认参数、修改内存使用上限等方式，提升功能稳定性与兼容性。资源组管理...
常见问题
另外，当数据量很大时，单机分区数也会很多，服务端的并发请求可能会出现排队现象。如果设置固定查询字段进行HASH分区，则查询时只需要扫描某一个或某几个分区。因此，当分区数量较多时，设置固定字段会带来明显的RT和QPS提升。说明 为提升...
全文检索
概述 在数据库存储的文本中找到特定的查询词并将它们按照出现的次数排序，就是一种典型的全文检索应用。大部分数据库都提供对文本查询的基本功能。例如，在查询中使用LIKE等表达式查找搜索文本，但这些方法在现代数据库业务中缺少以下能力...
索引简介
每个field中包含一系列的词语，构建索引的目的是为了加快检索的速度，根据映射关系方向的不同，索引可以分为：倒排索引（index）倒排索引存储了从单词到DocID的映射关系，形如：词->（Doc1,Doc2,.,DocN）倒排索引主要用在检索中，它能快速...
开源Elasticsearch FAQ
本文列举了一些开源Elasticsearch（ES）相关的常见问题，例如，如何配置索引线程池大小，如何重新分配索引分片，如何批量删除索引等。常见问题概览 如何配置索引线程池大小？出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对...
通用版快速入门
proxima.qc.searcher.scan_ratio含有同上，proxima.general.searcher.scan_count意义同min_scan_doc_cnt 注：n,sf,search_params出现的顺序不能变 说明 在使用向量检索时，如果向量索引中配置了类目字段，需要在检索时也带入类目字段进行...
图搜场景快速入门
proxima.qc.searcher.scan_ratio含有同上，proxima.general.searcher.scan_count意义同min_scan_doc_cnt 注：n,sf,search_params出现的顺序不能变 说明 在使用向量检索时，如果向量索引中配置了类目字段，需要在检索时也带入类目字段进行...
关键词感知检索
关键词检索+语义检索 针对上述问题，逐渐有业务和系统演化出来“两路召回、综合排序”的方法来解决，并且在效果上也超过了单纯的关键字检索或语义检索，如下图所示：但这种方式的弊端也很明显：系统复杂度增加。硬件资源（内存、CPU、磁盘...
人脸检索使用概述
使用限制 待检索的图像中，支持出现多张人脸（默认最大支持二张人脸）。对于检索到的每一张人脸图像，默认会返回相似度最高的五个个体的ID，建议您取分值最高的个体ID作为结果使用。检索不会返回对应的图像，您需要自行存储底库的图像与...
什么是Elasticsearch Serverless服务
背景信息 使用开源Elasticsearch时，用户需要按照业务预估读写情况，配置Elasticsearch集群的CPU、内存、磁盘等时预留一定的资源，会存在以下痛点问题：在大促、发版等业务高峰场景下，出现无法提前规划的突发读写流量，导致集群宕机，业务...
安装Proxima CE包
量化使用 使用向量检索后会自动生成一个输出表，存储在MaxCompute表中，您无需创建，在运行Proxima CE代码的-output_table 参数后面指定表名即可使用。生成的输出表格式请参考下文的 输出表格式说明。输出表格式说明 运行向量检索后会自动...
指标监控
使用方法 依次点击实例管理—实例id—功能扩展—指标监控，用户首次使用指标监控功能时，需进行授权，否则会出现下图所示。2.点击“重新授权”后，新建标签页打开应用授权页面，需同时选择三项才算完成授权 3.授权成功页面如下：查询节点...
查看集群概况
智能运维系统通过红黄绿3种颜色来展示集群的健康状况：红色：表示集群已经出现了很严重的问题或者很严重的隐患，已经影响了您的使用，需要立即处理，否则会存在数据丢失，集群故障等问题。黄色：表示集群存在较严重的问题或隐患，可能会...
QueryContent-查询文档内容
用自然语句从指定文档库检索向量和元数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
自定义插件安装错误的排查与解决方法
插件太大，会出现安装过程中插件加载慢的情况。出现该情况，需要中断变更，删除该插件，然后修改插件配置（例如减少分词类插件的分词），确认插件小于50 MB后，再重新上传安装。确认是否有数据节点在写入数据。是。需要耐心等待，说明上传...
快速入门
说明 如果您的授权出现问题，请通过 重新授权 进行处理。在 高级监控报警 页面，查看默认监控。在左侧导航栏，选择 监控可视化>指标监控，查看已接入实例的指标监控数据。指标监控的详细信息，请参见 基础指标 和 引擎指标。在左侧导航栏，...
查询日志
注意 如果您的业务侧出现问题，建议优先查看主日志和 集群监控，排除集群自身的性能瓶颈或管道配置问题。慢日志 耗时比较久的管道事件日志。当管道运行耗时超过指定阈值时，将在慢查询日志中打印相关信息。注意 为了方便后续排查与定位阿里...
录制内容检索与管理
本文介绍录制内容检索的适用场景、使用流程、实践示例和注意事项。适用场景 对于录制下来的文件，您可以：设置回调，每当一个录制文件生成，都能收到一个HTTP请求，便于您做一些业务上的实时处理。查询已录制的内容，可按时间轴展示录制...
全文检索最佳实践（2.0版）
结果集过滤 全文检索会召回所有跟关键词近似的结果。在某些数据量很大的场景中，命中关键词的结果集可能也很大，但是往往只需要取出近似度较高的部分结果。分析型数据库MySQL版提供了结果集过滤的功能，如下例子中where match()against()>0...
查询测试
HA3查询 查询测试下拉框选择【HA3查询】，会出现对应的输入项，query 串和 子句 输入，query语句 属于HA3查询中的必选项，子句语句中的 config语句 与 cluster语句 同样属于查询必选项，平台默认会添加，其他字句可根据召回需求自行添加。...
向量索引最佳实践
本文将介绍如何在已有的向量检索版实例中配置向量索引，并简单演示使用SDK方式通过向量查询检索版实例数据。前置条件 成功 注册阿里云账号 并通过 实名认证。开通阿里云账号并登录控制台时，会提示先创建access key才能继续使用。创建及...
DashVector+ModelScope 玩转多模态检索
本教程演示如何使用向量检索服务（DashVector），结合 ModelScope 上的 中文CLIP 多模态检索模型，构建实时的“文本搜图片”的多模态检索能力。作为示例，我们采用 多模态牧歌数据集 作为图片语料库，用户通过输入文本来跨模态检索最相似的...
规格计算器
向量检索版针对用户实例预算问题，提供了资源计算器，新接入的实例可通过计算器对实例资源进行预算参考。切换向量检索版，单击 创建实例，在右侧会展示 规格计算器。单击 规格计算器：基础情况：实例所在区域：用户需要创建引擎的区域。...
使用gig流控插件
当节点服务质量出现问题（一般体现为查询延迟飙升或错误率上升）时，插件能够通过PID算法实时收集分析服务节点指标，快速做出反应，屏蔽异常节点，实现故障后的秒级切流。当新节点上线加入集群时，为避免业务流量直接输入到服务能力未达标...
采集ECS服务日志
如果RAM控制台授权的默认策略或系统角色被删除，可通过 云资源访问授权 进行快捷授权，并为RAM用户授予以下自定义权限，否则会出现权限不足的报错。创建自定义权限的具体操作，请参见 创建自定义权限策略。{"Version":"1","Statement":[{...
上传企业知识
导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库，然后在问答过程中先根据用户query进行向量检索，然后将检索结果和问题组成prompt，由大模型返回最终答案。模型训练中心」可以进行sft训练。
东软案例
根据Forrest统计数据，目前有57%的企业客户IT运维部反馈至少每周会发生一次影响应用性能和可用性的问题；每天都发生问题的比例占到了28%。对于愈加依赖应用面向客户实现企业价值，提升工作效率的当今企业来说，这种问题越来越无法忍受。...
同义词
功能介绍 在实际搜索场景中，会经常出现包含同义词的表达。例如，我们希望用户在搜索 广东话 的同时，也能找出和 粤语 有关的信息；用户在搜索 苹果手机 的同时，包含 iPhone 的内容也能被检索并呈现。在现实生活中，相同语义的表述词汇...
概述
本章节介绍Elasticsearch的Java Client的原理、版本兼容性以及使用示例，帮助您快速地使用Java客户端与Elasticsearch集群进行交互，完成检索、分析等相关业务。Transport Client迁移至REST Client Transport Client随着Elasticsearch的第一...
TairVector混合检索实践
本文介绍基于Tair向量检索（Vector）实现条件过滤、向量检索、全文检索融合的混合检索方案。背景信息 大语言模型（Large Language Model,LLM）的发展使得文本、图片、音视频等非结构化数据都可以通过向量来表示其语义信息，基于向量的KNN...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题，此时您可以参考本文的排查方案...
倒排索引介绍
倒排索引存储信息 信息名称 描述 ttf 全称：total term frequency,表示检索词在所有文档中出现的总次数 df 全称：document frequency,表示包含检索词的文档总数 tf 全称：term frequency,表示检索词在文档中出现的次数 docid 全称：...
倒排索引介绍
倒排索引存储信息 信息名称 描述 ttf 全称：total term frequency,表示检索词在所有文档中出现的总次数 df 全称：document frequency,表示包含检索词的文档总数 tf 全称：term frequency,表示检索词在文档中出现的次数 docid 全称：...
引擎简介
文本检索 例如商品信息检索场景，一般会保存大量商品文本信息，希望通过某个指定短语检索查询符合条件的商品。服务开通 如何开通搜索引擎，具体请参见 开通指南。使用指南 搜索引擎支持标准SQL访问，同时支持Web式操作，具体操作请参见 ...
降配集群
如果集群负载高且索引没有副本，同时在降配过程中存在大量的写入或查询等情况，业务可能会出现偶发的访问超时现象，无法保证高可用机制，业务稳定性无法保证。GET_cat/indices?v 使用限制 节点磁盘空间和Kibana节点规格，不支持降配操作。...
部署和使用跨可用区实例
跨可用区部署可提升集群的容灾能力，系统会自动选择库存充足的可用区创建集群。在索引配置了副本的情况下，当某一可用区出现故障时，剩余的可用区依然可以不间断地提供服务，显著增强了集群的可用性。同时，您可以通过控制台的切流操作，将...
基于向量检索服务与TextEmbedding实现语义搜索
本教程演示如何使用向量检索服务（DashVector），结合 灵积模型服务 上的 Embedding API，来从0到1构建基于文本索引的构建+向量检索基础上的语义搜索能力。具体来说，我们将基于QQ 浏览器搜索标题语料库（QBQTC：QQ Browser Query Title ...
服务支持
产品公告 智能开放搜索 OpenSearch产品公告 发布记录 OpenSearch-行业算法版新功能发布记录 OpenSearch-高性能检索版新功能发布记录 OpenSearch-向量检索版新功能发布记录 OpenSearch-召回引擎版新功能发布记录 常见问题 OpenSearch-行业...
重启实例或节点
但在某些场景下，重启过程中可能会出现访问超时，例如强制重启并发度高、集群负载很高并且已经存在集群访问不可用的情况、没有副本分片、在重启或强制重启过程中存在大量的写入和查询等场景，建议重启前先在客户端设计好重试机制并且在业务...
基本概念
每个集群都应有一个唯一的集群名（ClusterName），同一环境内如果存在同名集群，可能会出现不可知异常。节点（node）一个节点是集群中的一个服务器，用来存储数据并参与集群的索引和搜索。一个集群可以拥有多个节点，每个节点可以扮演不同...
- 产品推荐
- 这些文档可能帮助您