通过配置文件管理管道
重要 为了提升安全性，在使用JDBC驱动并配置管道时，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件的时候，调度系统会抛出校验失败的提示，例如 jdbc_...
常见问题
另外，当数据量很大时，单机分区数也会很多，服务端的并发请求可能会出现排队现象。如果设置固定查询字段进行HASH分区，则查询时只需要扫描某一个或某几个分区。因此，当分区数量较多时，设置固定字段会带来明显的RT和QPS提升。说明 为提升...
DashVector x 通义千问大模型：打造基于专属知识的...
本教程演示如何使用 向量检索服务（DashVector），结合LLM大模型等能力，来打造基于垂直领域专属知识等问答服务。其中LLM大模型能力，以及文本向量生成等能力，这里基于 灵积模型服务 上的通义千问 API以及Embedding API来接入。背景及实现...
文档检索和LLM集成
本文介绍 AnalyticDB PostgreSQL版 如何通过Python代码进行文本检索及在LangChain中实现问答系统。文档检索 本章节以使用纯文本检索为例，示例代码如下：def query_content(namespace,namespace_password,collection,top_k,content,filter_...
创建阿里云Elasticsearch实例
如果您需要构建复杂查询特性的基础引擎，或进行超大数据集的检索与分析，可借助阿里云Elasticsearch实现。本文介绍如何创建阿里云ES实例。操作步骤 说明 本文以在 阿里云Elasticsearch 控制台创建ES为例。如果您想通过API创建ES实例，请...
概述
人脸识别是内容检测API提供的基于人脸图片检测技术的服务的统称，具体包括人脸属性检测、人脸比对、人脸检索功能，满足您与人脸图片检测相关的需求。本文介绍了人脸识别的功能特性和相关概念。功能特性 功能 说明 使用场景 API调用 人脸...
全文检索
全文检索（Full Text Search）指数据库将自然语言文本转换为可被查询数据的能力。云原生数据仓库AnalyticDB PostgreSQL版 使用PostgreSQL内核，提供完善的全文检索功能。本文介绍 AnalyticDB PostgreSQL版 如何实现“一站式全文检索”业务...
规格容量评估
操作系统预留空间：默认操作系统会保留5%的文件系统供您处理关键流程、系统恢复以及磁盘碎片等。安全阈值：通常至少预留15%的安全阈值。根据以上因素得到建议集群存储空间：集群存储空间=源数据*（1+副本数量）*索引开销/（1-操作系统预留...
X-Pack Watcher集群报警
应用场景 当ES实例中的logs索引出现error日志时，触发系统自动发送报警邮件或钉钉、企业微信消息。具体操作，请参见 配置钉钉机器人接收X-Pack Watcher报警 和 配置企业微信机器人接收X-Pack Watcher报警。实现CCR异常报警通知。具体操作，...
通过ES机器学习实现智能问答
文本嵌入模型和问答模型的组合可以用于智能搜索引擎、个性化推荐等场景，可以提升信息检索和问题解答的精准度。准备工作 上传模型 本文选择huggingface仓库中的question_answering模型 luhua/chinese_pretrain_mrc_macbert_large 和text_...
终端访问控制系统FAQ
本文档介绍了使用终端访问控制系统的常见问题和对应的解决方案。有线网络可以通过添加Mac白名单的方式来放行打印机等哑终端设备，无线网络如何支持无法安装客户端的终端入网？终端访问控制系统支持管理哪些类型的终端？管理员在推送Windows...
快速入门
保存后，系统会返回 管道管理 页面。可在 管道列表 区域，单击 操作 列下的 立即部署，触发实例重启，使配置生效。保存并部署：保存并且部署后，会触发实例重启，使配置生效。在创建成功提示框中，单击 确认。确认后，可在 管道列表 中查看...
Kibana FAQ
本文汇总了使用阿里云Elasticsearch的Kibana控制台时的常见问题。如何登录Kibana控制台，用户名和密码是什么？Kibana控制台的elastic账号的密码有什么作用？我可以在Kibana控制台中，访问公网中的服务吗（例如百度地图、高德地图等）？如何...
通用版快速入门
proxima.qc.searcher.scan_ratio含有同上，proxima.general.searcher.scan_count意义同min_scan_doc_cnt 注：n,sf,search_params出现的顺序不能变 说明 在使用向量检索时，如果向量索引中配置了类目字段，需要在检索时也带入类目字段进行...
通过自建Logstash迁移数据到阿里云ES
bin/logstash-f test.conf 命令执行成功后，系统会自动通过Logstash获取日志文件的变化，并提交到阿里云ES集群。只要监控的日志文件有新增内容，Logstash就会自动同步数据到ES集群中。步骤四：查看迁移成功的数据 登录目标阿里云ES实例的...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
计费常见问题
本文介绍阿里云Elasticsearch、Logstash 和ES Serverless服务 计费方面的常见问题。常见问题概览 Elasticsearch计费相关问题 购买阿里云Elasticsearch实例是否有优惠？阿里云Elasticsearch提供的X-Pack插件收费吗？弹性节点如何收费？阿里...
图搜场景快速入门
proxima.qc.searcher.scan_ratio含有同上，proxima.general.searcher.scan_count意义同min_scan_doc_cnt 注：n,sf,search_params出现的顺序不能变 说明 在使用向量检索时，如果向量索引中配置了类目字段，需要在检索时也带入类目字段进行...
解决方案：免费体验AnalyticDB PostgreSQL版以文搜图
本文为您介绍在实际的电商业务中，通过将商品图片集合的向量化结果存储在云原生数据仓库 AnalyticDB PostgreSQL版 向量检索引擎中，实现以文搜图的高效准确检索。背景信息 在现实世界中，绝大多数的数据都是以非结构化数据的形式存在，如...
时序模型介绍
数据写入后，系统会自动提取该时间线的元数据信息并自动构建索引，支持按照度量名称、数据源以及标签的组合条件进行时间线检索。表格存储时序模型的主要优势如下：通用的时序数据建模方式，用户无须预定义表结构。支持自动构建时间序列的...
PolarDB-X（DRDS）同步方案选取指南
当您在使用PolarDB-X（DRDS），需要进行全文检索和语义分析时，可将PolarDB-X中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大...
索引管理
POST/<yourIndexName>/_cube/unfollow 强制取消索引托管：取消托管过程中索引需完成段合并后才会结束托管，段合并耗时一般与segment数量、数据写入情况及数据量等有关系，如果耗时较长，对于内核版本为1.6及以上的内核增强版实例可通过如下...
开源Elasticsearch FAQ
本文列举了一些开源Elasticsearch（ES）相关的常见问题，例如，如何配置索引线程池大小，如何重新分配索引分片，如何批量删除索引等。常见问题概览 如何配置索引线程池大小？出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对...
进阶使用
前置知识 BM25简介 BM25算法（Best Matching 25）是一种广泛用于信息检索领域的排名函数，用于在给定查询（Query）时对一组文档（Document）进行评分和排序。BM25在计算Query和Document之间的相似度时，本质上是依次计算Query中每个单词和...
关键词感知检索
检索时，检索语句同样通过Embedding模型产生向量，并用该向量在向量检索系统中召回距离最近的TopK原始语料。但不可否认的是，基于语义的向量检索来召回信息也存在局限——必须不断的优化Embedding模型对语义的理解能力，才能取得更好的效果...
参考：Proxima CE全量参数说明
当某个类目下的doc数超过该阈值时判断该类目走大类目检索，否则走小类目检索，其中小类目检索默认采用线性检索方式，且多个小类目数据合并在一起检索。1000000 category_col_num 按类目查询时，小类目（doc数小于100万）构建索引的列数，...
索引简介
每个Document都是由多个field组成，每个field中包含一系列的词语，构建索引的目的是为了加快检索的速度，根据映射关系方向的不同，索引可以分为：倒排索引（index）倒排索引存储了从单词到DocID的映射关系，形如：词->（Doc1,Doc2,.,DocN）...
向量索引最佳实践
本文将介绍如何在已有的向量检索版实例中配置向量索引，并简单演示使用SDK方式通过向量查询检索版实例数据。前置条件 成功 注册阿里云账号 并通过 实名认证。开通阿里云账号并登录控制台时，会提示先创建access key才能继续使用。创建及...
基本概念
Validation Token Accuracy Validation Token Acc代表针对验证集学习的准确程度，曲线一般呈现上升趋势，训练过拟合后会呈现下降趋势，优秀的模型效果往往出现在Validation Token Acc的最大值节点，此时预测准确率最高，训练效果最好。...
多类目检索
Proxima CE支持多类目检索方式检索任务，本文为您介绍多类目检索功能的使用方法及示例。前提条件 已安装Proxima CE包并准备输入表，详情请参见 安装Proxima CE包。按类目查询 当您有多个类目的向量数据，并且需要在每个类目下单独进行批量...
调用统计
数据看板用来展示应用和模型的调用量，界面示意如下。应用调用次数 应用中心所有应用被调用...对于检索增强和插件增强应用，系统会自动拼接检索数据，输入给模型的token数可能大于应用输入token数。可以按照输入和输出、时间范围，筛选数据。
升级版本
重要 系统会根据您的升级方案选择合适的重启方式，重启会对集群服务产生一定影响，详细信息请参见 升级重启说明。升级操作 登录 阿里云Elasticsearch控制台。在左侧导航栏，单击 Elasticsearch实例。进入目标实例。在顶部菜单栏处，选择...
数据推送
POST的URL及body部分最好都要做url_encode，否则会出现解析及签名问题。数据源或者API推送增量时请注意，主键值重复的doc会被覆盖。使用RDS自动同步数据有TPS及大小限制，具体值请参考系统限制项：RDS单库内所有表的更新会产生一份binlog...
实例的节点故障处理机制
当节点发生故障后，系统会对故障节点进行检查与修复。节点故障期间实例的相关服务不可用。说明 单节点实例适用于测试、培训、非核心业务等场景，生产环境建议使用副本集实例或分片集群实例以保障服务的高可用性。副本集 图 1.副本集架构 ...
云系统侧出现问题
如果云系统侧出现问题导致ECS实例无法创建或者启动，您可以通过本文了解此类问题的解决方案。前提条件 您已通过自助问题排查功能中的 实例问题排查>实例无法连接或启动异常>实例启动异常 诊断项对ECS实例进行了诊断排查，诊断结果中有以下...
规格计算器
向量检索版针对用户实例预算问题，提供了资源计算器，新接入的实例可通过计算器对实例资源进行预算参考。切换向量检索版，单击 创建实例，在右侧会展示 规格计算器。单击 规格计算器：基础情况：实例所在区域：用户需要创建引擎的区域。...
情绪分析
情绪变化详情 在进入到情绪变化详情后系统会将上一页中的筛选条件一同带入，并在基础上支持高级检索。在高级检索中系统支持按照下方列表中展示出的字段进行数据检索：通话时间：为当前通话发生的时间，支持按照日期+时间的格式进行检索。...
单实例快速恢复
当出现1分钟容器响应超时（可能是内存溢出、硬件故障、软件Bug等原因导致），Resource Manager会自动拉起新的计算节点，并迁移数据分片（Shard）职责到新的节点上（例如Worker Node3响应超时，Resource Manager拉起Worker Node4取代Worker ...
案例：构建文本语义检索系统
本文介绍如何使用AnalyticDB PostgreSQL向量数据库构建文本语义检索系统。背景信息 文本语义检索旨在通过理解查询文本的意图以及文本含义来得到更好的搜索结果。和传统的词法搜索不同，词法搜索通常只关注查询的关键词，而不理解查询的整体...
采集ECS服务日志
阿里云Filebeat不支持自定义索引名，系统会默认创建名称为 filebeat-%{[agent.version]}-%{+yyyy.MM.dd} 的索引，例如 filebeat-6.8.5-2021.12.11。单击 下一步。可选：首次进入 采集器安装 配置向导，需要单击 前往授权。再在 云资源访问...
- 产品推荐
- 这些文档可能帮助您