常见问题
only问题的排查与处理方法 集群负载不均问题的分析方法及解决方案 通过手动迁移shard均匀分布热点数据的解决方案 指标含义与异常处理建议 fielddata内存使用率高问题的排查与处理方法 重启变更报错：集群状态不健康或存在close索引，不能...
搜索增强
已适配引擎列表 版本 配置 插件 链接 阿里云Elasticsearch V8.9 V7.10 V7.7 V6.8 V6.7 基础建议2核8G，存在向量检索需求8核32G 无要求 阿里云Elasticsearch控制台 检索分析服务Elasticsearch版文档 数据导入 数据源 企业知识库存储，可在...
阿里云大模型RAG对话系统最佳实践
在响应用户查询时，RAG对话系统首先利用检索系统从知识库中检索相关内容，然后将检索到的内容与原始查询一同输入大语言模型（LLM），无需重新训练LLM模型就能够获取最新的信息，并产生可靠的输出。RAG对话系统特别适用于问答、摘要生成和...
引擎简介
文本检索 例如商品信息检索场景，一般会保存大量商品文本信息，希望通过某个指定短语检索查询符合条件的商品。服务开通 如何开通搜索引擎，具体请参见 开通指南。使用指南 搜索引擎支持标准SQL访问，同时支持Web式操作，具体操作请参见 ...
功能特性
数据集介绍及操作 数据集管控相关 API 数据集索引相关 API 数据集绑定相关 API 数据集查询相关 API 任务管理 触发器 使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如将Bucket某个目录中新增的后缀为.docx的文件转换成....
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
客户端访问Elasticsearch FAQ
如果出现集群状态不健康、节点失联等问题，需要先解决这些集群层面的问题，详细信息请参见 指标含义与异常处理建议。判断客户端是否有网络拦截策略。您可以分别在用户侧、Elasticsearch服务端、SLB端抓包进行排查，如果这些都没有异常，还...
RDS MySQL全文检索相关问题及处理
概述 本文主要介绍RDS MySQL全文检索相关问题及处理方法。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，...
应用场景
本文为您介绍向量检索服务在 电商智能搜索和偏好推荐、自然语言处理等AI问答系统、图库类网站多模态搜索、视频检索、分子检测与筛选等场景下的应用。电商智能搜索和偏好推荐场景 在电商智能搜索和偏好推荐场景中，向量数据库可以实现基于...
运维告警
操作 说明 详情 单击 详情，可查看该条告警的详细信息，并确认问题处理状态。如果您的问题已经解决了，可以在 告警详情 面板，单击 问题已解决。分享远程终端 单击 分享远程终端，可远程控制边缘一体机，操作详情及说明，请参见 远程运维...
消息检索
当 云消息队列 Kafka 版 控制台提供的按位点查询和按时间查询消息的功能无法满足您搜索消息的需求时，您可以使用 云消息队列 Kafka 版 消息检索功能。消息检索支持按Topic分区、位点范围、时间范围以及消息Key和Value关键字检索。本文介绍...
应用场景
阿里云Elasticsearch具有广泛的应用场景，包括日志分析与运维全观测、信息检索、数据智能等。日志分析与全观测 在复杂业务场景下，海量服务器、物理机、Docker容器、移动设备和IoT传感器等设备中，往往存在着结构分散、种类多样、规模庞大...
基于Tair与LLM构建企业专属Chatbot
橙色箭头表示在用户发起一个查询后，先从Tair中检索出最相似的TopK个向量，然后与用户问题进行Prompt，一并提交给LLM，让LLM更好地回答用户的问题。以下代码仅说明Tair与大语言模型结合的部分，具体Demo运行，请参见 快速体验 章节。coding...
DashVector x 通义千问大模型：打造基于专属知识的...
实现这个检索，我们同样将提问的问题进行文本向量化后，再在DashVector服务中检索最相关的知识点，也就是相关新闻报道。创建 search.py 文件，并将如下示例代码复制到 search.py 文件中。Python from dashvector import Client from ...
名词解释
进行语义分析理解、构建问答式搜索等场景，请使用该模板，模板内预制相关字段与索引，简化配置步骤，详情请见：产品文档 数据处理 在选择“向量-图片搜索”或“向量-文本语义搜索”时，需要选择数据处理方式，向量检索版提供两种数据处理...
DashVector+DashScope升级多模态检索
本教程在前述教程（DashVector+ModelScope玩转多模态检索）的基础之上，基于DashScope上新推出的ONE-PEACE 通用多模态表征模型 结合向量检索服务DashVector来对多模态检索进行升级，接下来我们将展示更丰富的多模态检索能力。DashVector+...
名词解释
对话工厂 对话工厂允许用户按照既定的话术套路设计用户与机器人之间的对话，通过“Slot Filling(填槽)”技术，机器人可以与用户在对话中完成业务流程处理。当用户与机器人的会话匹配到意图时，机器人会按照预先编排的多轮对话来收集所需...
高速全文检索（RUM）
背景信息 GIN索引（通用倒排索引）支持通过tsvector和tsquery两种数据类型进行全文检索，但是有如下几个问题：排序慢 需要有关词汇的位置信息才能进行排序。GIN索引不存储词汇的位置，因此在索引扫描之后，需要额外的扫描来检索词汇位置。...
部署应用
快捷短语：使用场景：用户高频咨询的问题可配置为机器人的快捷短语，用户单击有关快捷短语时系统自动向机器人发送问题或跳转到外部链接，使用户无需通过编辑问题文字而只需通过单击有关按钮即可获取有关答案，使终端用户的问题解决更加快捷...
全文检索
倒排索引是一种存放了数据和位置关系的数据结构，在数据系统中通常被用于处理大量文本的检索问题。本文通过以下示例，展示倒排索引如何提升文本的检索性能。现有一张数据表 Document，存放了一系列的文本 Text，同时每条文本都有一个对应的...
日志同步分析概述
Kafka实时接收到Filebeat采集的数据后，输出到Logstash中进行过滤处理，最终将满足需求的数据输出到Elasticsearch中进行分布式检索，并通过Kibana进行分析与展示。查询分析RocketMQ客户端日志 使用Beats、Elasticsearch、Logstash和Kibana...
常见报错
解决方案 参见 集群磁盘使用率过高和read_only问题的排查与处理方法，修复磁盘使用率过高的问题。执行以下命令，将集群中所有索引的 index.blocks.read_only_allow_delete 属性设置为null，使集群中不再存在read_only状态的索引。PUT_...
2021年
2021年3月 功能名称 功能描述 发布时间 发布地域 相关文档 自然语言处理（NLP）类模型 ModelHub中新增通用情绪识别模型、通用文本匹配模型、通用问答匹配模型、BERT英文文本向量化模型。2021年3月03日 华北2（北京）华东2（上海）华东1...
什么是自动驾驶开发平台
数据管理提供自动驾驶采集数据在云上数据预处理、预标注、管理、检索、重组、回放、输出到仿真或训练系统中的能力：非结构化数据处理针对非结构化数据处理提供DAG调度和并行计算能力，构建自动调度的10倍加速的自动驾驶数据工作流 多模态...
常见问题
1.Doc相关操作不指定Partition参数时，具体行为是什么？每个Collection创建时，默认创建一个名称为 default 的Partition，且该Partition无法被删除。当Doc操作不指定Partition时，实际相当于使用 default Partition。例如：检索Doc 时，若...
使用向量检索插件（aliyun-knn）
向量检索插件是阿里云Elasticsearch团队自主开发的向量检索引擎插件，基于阿里巴巴达摩院proxima向量检索库实现，能够帮助您快速实现图像搜索、视频指纹采样、人脸识别、语音识别和商品推荐等向量检索场景的需求。本文介绍如何使用向量检索...
功能发布记录
功能名称 变更类型 功能描述 发布时间 相关文档 备注 语义检索功能发布 新增 语义检索能力对您对象存储 OSS 中的文件进行检索，也可以对网盘与相册服务 PDS 中的文件进行检索。2024-03 语义检索 该功能目前仅支持华北（北京）区域 图片聚类...
DashVector x 通义千问大模型：打造基于专属知识的...
实现这个检索，我们同样将提问的问题进行文本向量化后，再在DashVector服务中检索最相关的知识点，也就是相关新闻报道。from dashvector import Client from embedding import generate_embeddings def search_relevant_news(question):#...
智能标签
应用场景 准确高效的媒体资源检索 通过准确丰富的视频标签体系，对视频、图像、文本等媒体文件进行内容编目，支持通过关键词或标签文本，对素材库中的内容进行快速检索，提升视频资源检索效率与准确性。个性化推荐 精准、个性化的内容推荐...
智能标签
智能标签，是通过分析视频中视觉、文字、语音、行为等信息，结合多模态信息融合及对齐技术，实现高准确率内容识别，自动输出视频的多维度内容标签，将非结构化信息转化为结构化信息，适用于媒资检索、个性化推荐、智能广告投放等场景。...
开源Elasticsearch FAQ
本文列举了一些开源Elasticsearch（ES）相关的常见问题，例如，如何配置索引线程池大小，如何重新分配索引分片，如何批量删除索引等。常见问题概览 如何配置索引线程池大小？出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对...
概述
本章节介绍Elasticsearch的Java Client的原理、版本兼容性以及使用示例，帮助您快速地使用Java客户端与Elasticsearch集群进行交互，完成检索、分析等相关业务。Transport Client迁移至REST Client Transport Client随着Elasticsearch的第一...
阿里云ES机器学习
为了克服这些限制，可以将ES与text embedding模型相结合，这些模型能够基于上下文提供更丰富的语义表示，并能更好地处理词义歧义问题，提高搜索和分析的质量，实现更深层次的语义理解和上下文感知能力。阿里云ES 7.11及以上版本 支持将第三...
TairVector混合检索实践
本文介绍基于Tair向量检索（Vector）实现条件过滤、向量检索、全文检索融合的混合检索方案。背景信息 大语言模型（Large Language Model,LLM）的发展使得文本、图片、音视频等非结构化数据都可以通过向量来表示其语义信息，基于向量的KNN...
高效基因序列检索助力快速分析肺炎病毒
是云端托管的PB级高并发低延时数据仓库，通过 AnalyticDB MySQL版 向量检索功能构建的基因检索系统，支持毫秒级针对10亿级别的向量数据进行查询分析，更加快速、高效的为肺炎病毒防控、研发治疗药物以及相关疫苗提供帮助。基因序列检索技术...
媒体处理常见问题
如果转码失败，可能是因为源文件本身问题导致，例如：视频流缺失、metadata存在问题、帧错误、视频头部信息缺失等。通过阅读本文，您可以了解转码异常、转码格式支持及其他常见问题及对应解决方案。转码异常问题 使用SubmitJobs API提交...
向量计算（Proxima CE）概述
Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量检索任务，包括基础的向量检索、多类目检索及百万TopK检索等功能。本文为您介绍 在MaxCompute中如何使用向量计算功能。背景信息 Proxima CE是一款...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
2023年
2023年08月 V6.3.11.2 类别 功能 功能描述 相关文档 新增 向量检索 增加余弦相似度相关函数。支持并行构建针对文本数据和向量数据的向量索引。融合查询功能增强，支持半结构化数据索引加速，支持通过向量检索和全文检索进行双路召回。向量...
语义检索
IMM语义检索是采用向量检索方式，根据特定内容语义对多媒体数据进行搜索的过程，本文介绍如何使用语义检索。功能简介 传统的标量检索是根据文件携带的元数据信息进行检索，例如文件名称、文件创建时间、文件格式等。与标量检索不同的是，...
- 产品推荐
- 这些文档可能帮助您