阿里云大模型RAG对话系统最佳实践
在响应用户查询时，RAG对话系统首先利用检索系统从知识库中检索相关内容，然后将检索到的内容与原始查询一同输入大语言模型（LLM），无需重新训练LLM模型就能够获取最新的信息，并产生可靠的输出。RAG对话系统特别适用于问答、摘要生成和...
自定义插件安装错误的排查与解决方法
插件太大，会出现安装过程中插件加载慢的情况。出现该情况，需要中断变更，删除该插件，然后修改插件配置（例如减少分词类插件的分词），确认插件小于50 MB后，再重新上传安装。确认是否有数据节点在写入数据。是。需要耐心等待，说明上传...
Indexing Service系列介绍
写入文档数 写入文档数最大为5000 个/秒 非硬性限制，如果超过最大限制，系统会尽可能服务，但不能保证服务质量。Shard数 单个索引最多可创建的Shard数 最多可创建300个Shard。无。配置 index.refresh_interval 云端托管集群中默认配置此...
大模型RAG对话系统
EAS提供了场景化部署方式，通过简单配置几个参数，您便可以一键部署集成了大语言模型（LLM）和检索增强生成（RAG）技术的对话系统服务，显著缩短服务部署时间。在使用该服务进行推理验证时，它能够有效地从知识库中检索相关信息，并与大...
通过配置文件管理管道
重要 为了提升安全性，在使用JDBC驱动并配置管道时，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件的时候，调度系统会抛出校验失败的提示，例如 jdbc_...
降配集群
如果集群负载高且索引没有副本，同时在降配过程中存在大量的写入或查询等情况，业务可能会出现偶发的访问超时现象，无法保证高可用机制，业务稳定性无法保证。GET_cat/indices?v 使用限制 节点磁盘空间和Kibana节点规格，不支持降配操作。...
升配集群
如果集群负载高且索引没有副本，同时在升配或者降配过程中存在大量的写入或查询等情况，业务可能会出现偶发的访问超时现象。建议在集群变更前，在客户端访问重试机制及增加副本数，以减小对业务的影响。升配过程中不会出现数据丢失的现象，...
Serverless计费
购买Serverless计算资源包后，系统会自动抵扣Serverless应用消费的写入计算资源和查询计算资源。查看Serverless资源包抵扣量 进入用户中心。在左侧导航栏，单击 资源实例管理。在 资源实例管理 页面，选择资源维度为 资源包。在 实例汇总 ...
创建应用
创建成功后，系统会提示 应用创建成功。您可以在 应用管理 页面的应用列表中查看已成功创建的应用。应用状态 描述 创建中 创建中的应用不支持数据读写和控制台相关操作。运行中 应用正常运行。欠费冻结 账号欠费时会导致应用冻结，相关服务...
上传与安装自定义插件
安装时，系统会校验插件依赖的Elasticsearch版本是否正确，如果不正确则安装不成功。您也可以选中多个插件，单击底部的 批量安装，一次性安装多个插件。在弹出的对话框中，单击 继续，完成插件安装。安装插件会触发集群重启，建议业务低峰...
内核版本发布记录
也无须手动配置冷热生命周期策略，系统会自动进行数据分层。开启Indexing Service索引构建服务后，支持设置取消托管时长，提升云上写入托管的稳定性。1.7.0内核版本发布说明 新增特性 Analyticsearch查询优化上线，基于日志检索插件实现...
基本概念
每个集群都应有一个唯一的集群名（ClusterName），同一环境内如果存在同名集群，可能会出现不可知异常。节点（node）一个节点是集群中的一个服务器，用来存储数据并参与集群的索引和搜索。一个集群可以拥有多个节点，每个节点可以扮演不同...
创建阿里云Elasticsearch实例
如果您需要构建复杂查询特性的基础引擎，或进行超大数据集的检索与分析，可借助阿里云Elasticsearch实现。本文介绍如何创建阿里云ES实例。操作步骤 说明 本文以在 阿里云Elasticsearch 控制台创建ES为例。如果您想通过API创建ES实例，请...
Logstash FAQ
本文介绍使用阿里云Logstash的常见问题。...当前阿里云Logstash的Config配置中的Ruby模块存在安全漏洞，如果Config配置中包含了Ruby模块指令，系统会提示如下错误信息，您需要重新配置Config。如果有疑问，请提交工单咨询。
同义词
功能介绍 在实际搜索场景中，会经常出现包含同义词的表达。例如，我们希望用户在搜索 广东话 的同时，也能找出和 粤语 有关的信息；用户在搜索 苹果手机 的同时，包含 iPhone 的内容也能被检索并呈现。在现实生活中，相同语义的表述词汇...
通过自建Logstash迁移数据到阿里云ES
bin/logstash-f test.conf 命令执行成功后，系统会自动通过Logstash获取日志文件的变化，并提交到阿里云ES集群。只要监控的日志文件有新增内容，Logstash就会自动同步数据到ES集群中。步骤四：查看迁移成功的数据 登录目标阿里云ES实例的...
规格容量评估
操作系统预留空间：默认操作系统会保留5%的文件系统供您处理关键流程、系统恢复以及磁盘碎片等。安全阈值：通常至少预留15%的安全阈值。根据以上因素得到建议集群存储空间：集群存储空间=源数据*（1+副本数量）*索引开销/（1-操作系统预留...
事件分析概述
以云服务器ECS为例，很多情况会因系统错误或云盘性能受损而触发故障类事件，这类事件通常会涉及到周边产品（比如容器服务ACK等），捕获全部云上事件做基础排障的挑战性比较大。事件总线EventBridge 支持全部云服务事件无缝接入，更大程度...
管理时间线元数据
如果未预先新建时间线元数据，当写入时序数据时，系统会自动提取该时间线的元数据信息并自动构建索引。时间线元数据生成后，您可以根据所需场景管理时间线元数据。功能 描述 检索时间线 调用 QueryTimeseriesMeta 接口根据度量名称条件、...
恢复.kibana_1索引
执行成功后，系统会返回仓库中所有快照的详细信息，例如快照 id、status 等。说明 请记录Kibana异常前最新快照的 id，以备后用。快照恢复前，获取备份的快照信息，查看集群中是否存在.kibana_1 相关的索引。GET_snapshot/aliyun_auto_...
公网白名单配置
向量检索版实例是部署在VPC环境中，因此用户在本地或者公网环境是无法直接通过API域名访问VPC环境中的向量检索版实例的，因此系统通过配置IP白名单的方式支持用户在本地或公网环境访问向量检索版实例，具体开启方式如下：在实例详情页找到...
应用场景
表格存储 数据湖架构能有效的解决大数据领域面临的数据存储与数据分析问题，典型应用场景包括推荐系统和舆情&风控分析场景。推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、...
向量检索版介绍
向量检索版简介 OpenSearch-向量检索版是阿里巴巴自主研发的大规模分布式搜索引擎，支持了淘宝、天猫、菜鸟、优酷乃至海外电商在内整个集团的搜索业务，同时也支撑了阿里云上的开放搜索业务。OpenSearch-向量检索版经过多年的发展，在满足...
插件配置概述
阿里云Elasticsearch支持20余款开源和自研Elasticsearch插件，能够提升集群在稳定性、查询和写入性能、分词查询、数据检索等各方面的能力。本文介绍阿里云Elasticsearch支持的系统默认插件和自定义插件。系统默认插件 系统默认插件为阿里云...
高级监控报警概述
高级监控报警服务是基于Elasticsearch开发的一种SAAS服务，具备对集群指标和日志数据的采集、加工、监控、检索、可视化和报警等多种能力，为云上用户提供了一种开箱即用的一站式监控报警解决方案。通过使用高级监控报警服务，您可以实现对...
版本特性
新增间隔查询（Intervals Queries），根据多字符串在文本中出现的先后顺序及距离检索。开启审计日志后，审计事件将持久保存到<clustername>_audit.json主机文件系统上，不支持索引方式输出。详细信息，请参见 Enabling audit logging。更多...
通过ES机器学习实现智能问答
文本嵌入模型和问答模型的组合可以用于智能搜索引擎、个性化推荐等场景，可以提升信息检索和问题解答的精准度。准备工作 上传模型 本文选择huggingface仓库中的question_answering模型 luhua/chinese_pretrain_mrc_macbert_large 和text_...
概述
当系统对一张图片进行人脸识别时，会将检测到的人脸记录下来，包括人脸在图片中的位置信息。通常，多张人脸在同一张图片中只要特征点数足够均能够被识别出来。个体（Person）：在人脸识别技术中通常用来表示某张图片所代表的人物信息。个体...
基于向量检索版+LLM构建对话式搜索
方案优势 优势一：高性能：自研的高性能向量检索引擎 OpenSearch向量检索版支持 千亿数据 毫秒级响应，实时数据更新 秒级可见 OpenSearch向量检索版的检索性能优于开源向量搜索引擎数倍，在高QPS场景下召回率明显优于开源向量搜索引擎 ...
基于向量检索版+LLM构建对话式搜索
方案优势 优势一：高性能：自研的高性能向量检索引擎 OpenSearch向量检索版支持 千亿数据 毫秒级响应，实时数据更新 秒级可见 OpenSearch向量检索版的检索性能优于开源向量搜索引擎数倍，在高QPS场景下召回率明显优于开源向量搜索引擎 ...
模型推理
模型状态为 READY 时，您可以使用系统函数调用模型执行推理、预测、生成等任务。前提条件 已创建或导入模型，且模型状态为READY。具体操作，请参见 模型创建 和 模型管理。非时序类任务 语法 SELECT function_name(model_name,field1_name,...
深度解析Lindorm搜索索引（SearchIndex）特性
强一致性 数据在多个引擎间流转必然会涉及到一致性问题，通常只能提供最终一致性的语义，数据的正确性和访问延迟无法有效保障。Lindorm SearchIndex提供了最终一致性和强一致性两种语义，对于访问量大、数据延迟性要求不高的场景采用最终...
日志同步分析概述
应用系统在提供服务过程中，会产生各种各样的日志数据。针对这些数据，可以根据业务的需求和环境，选择对应的方案采集数据并传输到Elasticsearch服务中进行查询分析。本文对日志同步分析的方案进行了汇总。相关文档 方案描述 通过Filebeat...
SELECT
非时序类任务 非时序类任务包括：文生图、多模态图片生成、基础问答和检索类任务（语义检索和检索问答）。语法 SELECT function_identifier(model_identifier,field1_identifier,field2_identifier,.,params)[FROM table_identifier[WHERE ...
Kibana FAQ
本文汇总了使用阿里云Elasticsearch的Kibana控制台时的常见问题。如何登录Kibana控制台，用户名和密码是什么？Kibana控制台的elastic账号的密码有什么作用？我可以在Kibana控制台中，访问公网中的服务吗（例如百度地图、高德地图等）？如何...
通用版快速入门
proxima.qc.searcher.scan_ratio含有同上，proxima.general.searcher.scan_count意义同min_scan_doc_cnt 注：n,sf,search_params出现的顺序不能变 说明 在使用向量检索时，如果向量索引中配置了类目字段，需要在检索时也带入类目字段进行...
案例二：搭建文档检索系统
本文介绍了文档检索系统的概念，以及搭建文档检索系统的流程。概念 文档检索系统是一种用于快速准确地检索和获取文档信息的技术。它基于文档的内容和结构，通过计算机自然语言处理和信息检索的技术，将文档转化为可检索的形式，并根据用户...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
本文为您介绍在实际的电商业务中，通过将商品图片集合的向量化结果存储在云原生数据仓库 AnalyticDB PostgreSQL版 向量检索引擎中，实现以文搜图的高效准确检索。背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如...
通过阿里云百炼搭建专属大模型应用
阿里云百炼结合 AnalyticDB PostgreSQL版 向量检索引擎推出一站式企业专属大模型开发和应用平台，提供应用API，可一键接入您的业务应用并对外提供服务，帮助您轻松完成企业专属大模型应用的开发。概述 产品简介 阿里云百炼是基于通义千问大...
图搜场景快速入门
proxima.qc.searcher.scan_ratio含有同上，proxima.general.searcher.scan_count意义同min_scan_doc_cnt 注：n,sf,search_params出现的顺序不能变 说明 在使用向量检索时，如果向量索引中配置了类目字段，需要在检索时也带入类目字段进行...
- 产品推荐
- 这些文档可能帮助您