概述
RAG架构通过信息检索系统，增加了大语言模型（LLM）的能力，提供了相关的上下文信息，比如特定行业或私有数据文档。RAG架构如下图所示：本快速入门基于 AnalyticDB PostgreSQL版 的自研向量引擎FastANN，并提供了系列的文档处理能力，通过...
常见问题
当然系统计算出的行列是保障正常运行的资源要求，即当用户需要加速时，可以增加行列，或者当集群资源不够时，可以减少行列，这些都需要根据自己所在MaxCompute Project的情况具体分析，包括下述 如何加速任务的运行速度?均是提供一个通用的...
常见问题
导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库，然后在问答过程中先根据用户query进行向量检索，然后将检索结果和问题组成prompt，由大模型返回最终答案。模型训练中心」可以进行sft训练。2.通义千问升级后，...
API详情
本文主要介绍如何使用API调用阿里云百炼的RAG检索增强应用，也就是从应用中心中创建的RAG检索增强应用。SDK使用 前提条件 已开通百炼服务：开通大模型服务平台百炼服务。已创建API-KEY：获取API-KEY。已安装最新版SDK：安装SDK。已创建RAG...
常见问题
这种查询方式通常无法保证每次检索都一定能匹配到数据，即使原始写入的数据中包含检索内容，但这些数据在存储时经过分词或过滤停词等操作后导致最终构建的索引字段中没有对应的检索内容，那么检索结果也仍旧为空。另外，不同分词器的分词...
倒排索引介绍
它是文档检索系统中最常用的数据结构。通过倒排索引，可以快速定位单词所在的文档列表以及该词在文档中的位置，词频等信息。供信息分析使用。倒排索引存储信息 信息名称 描述 ttf 全称：total term frequency,表示检索词在所有文档中出现的...
倒排索引介绍
它是文档检索系统中最常用的数据结构。通过倒排索引，可以快速定位单词所在的文档列表以及该词在文档中的位置，词频等信息。供信息分析使用。倒排索引存储信息 信息名称 描述 ttf 全称：total term frequency,表示检索词在所有文档中出现的...
阿里云大模型RAG对话系统最佳实践
在响应用户查询时，RAG对话系统首先利用检索系统从知识库中检索相关内容，然后将检索到的内容与原始查询一同输入大语言模型（LLM），无需重新训练LLM模型就能够获取最新的信息，并产生可靠的输出。RAG对话系统特别适用于问答、摘要生成和...
管理服务器
将服务器资产接入云安全中心后，您可以在主机资产的服务器页签下同步最新资产信息、查看服务器信息、对服务器进行分组管理、修改服务器的保护状态等。本文介绍如何进行服务器管理。操作演示视频 以下视频为您演示了使用云安全中心管理...
服务介绍
网站会员、商品信息检索场景，一般保存大量的商品/会员信息，并需要根据少量条件进行复杂且任意的查询，以满足网站用户任意搜索需求等。Search服务的整体数据流如上图，数据写入HBase后，BDS负责将数据实时同步到Search索引中。在此架构下...
全文索引服务
网站会员、商品信息检索场景，一般保存大量的商品/会员信息，并需要根据少量条件进行复杂且任意的查询，以满足网站用户任意搜索需求等。Search服务的整体数据流如上图，数据写入HBase后，BDS负责将数据实时同步到Solr中。在此架构下，HBase...
开放搜索OpenSearch向量检索
为了满足更多元化、更复杂的多模态检索场景，开放搜索推出向量检索功能，可以一站式完成高性能向量检索系统的搭建。2.开放搜索实例创建 步骤1：点击 立即购买 步骤2：配置实例规格参数 配置说明：商品类型：后付费（测试期间可使用后付费）...
政务舆情分析系统的数据库解决方案
背景信息 全网舆情分析系统，可以实现百亿条网页数据的存储、实时新增网页的抓取和存储，并能对新增网页做实时的元数据提取。有了提取结果，还需要进行进一步的挖掘分析，这些分析包括但不限于：舆情的影响力诊断：从传播量级和扩散趋势来...
通过ES机器学习实现智能问答
文本嵌入模型和问答模型的组合可以用于智能搜索引擎、个性化推荐等场景，可以提升信息检索和问题解答的精准度。准备工作 上传模型 本文选择huggingface仓库中的question_answering模型 luhua/chinese_pretrain_mrc_macbert_large 和text_...
混合检索使用指南
当结构化数据与非结构化数据需要同时检索时，您可以使用 AnalyticDB PostgreSQL版 向量数据库的混合查询，既支持结构化字段过滤，也支持半结构化字段过滤，同时支持和文本字段的全文检索一起进行双路召回。混合检索简介 ANNS（Approximate ...
方案选择
传统方案一：MySQL分库分表 MySQL自身拥有强大的数据查询、分析功能，基于MySQL创建订单系统，可以应对订单数据多维查询和统计场景。伴随着订单数据量的增加，采取分库分表方案应对，通过这种伪分布式方案解决数据膨胀带来的问题。但数据...
全文检索
通过符号将文本词语分类为不同的类型，例如数字、形容词、副词等，不同类型的符号可以做不同的操作处理。PostgreSQL内核使用默认的解析器（parser）进行符号解析，并提供自定义解析器能力用于解析不同语言文本。将符号转换为词语。相比较...
时序模型介绍
此外，您还可以通过接口更新某个时间序列的元数据属性（attributes），该元数据信息可以用于时间线的检索。数据写入后，系统会自动提取该时间线的元数据信息并自动构建索引，支持按照度量名称、数据源以及标签的组合条件进行时间线检索。...
QueryContent-查询文档内容
用自然语句从指定文档库检索向量和元数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
召回引擎版介绍
在线系统 在线系统是一个分布式检索系统，由三个角色构成：admin、qrs和searcher，下面分别介绍：HA Admin HA Admin是在线系统的大脑，每个物理集群都会有最少一个admin。HA admin负载接受管控系统的命令，并根据命令向Qrs和Searcher...
时序模型介绍
数据写入后，系统会自动提取该时间线的元数据信息并自动构建索引，支持按照度量名称、数据源以及标签的组合条件进行时间线检索。模型特性 表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器...
使用向量检索插件（aliyun-knn）
向量检索插件是阿里云Elasticsearch团队自主开发的向量检索引擎插件，基于阿里巴巴达摩院proxima向量检索库实现，能够帮助您快速实现图像搜索、视频指纹采样、人脸识别、语音识别和商品推荐等向量检索场景的需求。本文介绍如何使用向量检索...
数据检索与预览
说明 能够被语义检索检索到的图片，首先需要做向量化，如未完成向量化，则该图片不可能被检索到。如何对一批图片配置一个批量向量化的任务，可参考“任务配置”模块的介绍。操作步骤：打开数据检索页面；在页面上方的输入框左侧顶端，切换...
录制内容检索与管理
录制文件检索信息在视频直播系统中只保存6个月（过期会删除检索信息，但是不会删除用户录制文件）。ts分片信息在视频直播系统中只保存3个月，创建手动m3u8文件只能选择最近3个月的录制内容（过期会删除ts检索信息，但是不会删除用户录制ts...
Tair命令概览
GeoSpatial GIS 无 TairGIS是一种使用R-Tree做索引，支持地理信息系统GIS（Geographic Information System）相关接口的数据结构。支持点、线、面的查询，支持包含、被包含、相交等多种关系判断。该数据结构已开源，更多信息请参见 TairGIS...
现代IM系统中的消息系统—实现
查询群的方式与用户查询方式类似，功能也可以做相同的实现。用户可以根据自己需求定制不同的索引字段设置，需求实现方式如下：群ID：主键查询 二维码（含用户ID信息）：主键查询 群名：多元索引，用户名字段设置为分词字符串类型 群标签：...
通过阿里云Milvus与PAI搭建高效的检索增强生成（RAG）...
阿里云Milvus现已无缝集成于阿里云PAI平台，一站式赋能用户构建高性能的检索增强生成（RAG）系统。您可以利用Milvus作为向量数据的实时存储与检索核心，高效结合PAI和LangChain技术栈，实现从理论到实践的快速转化，搭建起功能强大的RAG...
创建阿里云Elasticsearch实例
如果您需要构建复杂查询特性的基础引擎，或进行超大数据集的检索与分析，可借助阿里云Elasticsearch实现。本文介绍如何创建阿里云ES实例。操作步骤 说明 本文以在 阿里云Elasticsearch 控制台创建ES为例。如果您想通过API创建ES实例，请...
TairVector混合检索实践
背景信息 大语言模型（Large Language Model,LLM）的发展使得文本、图片、音视频等非结构化数据都可以通过向量来表示其语义信息，基于向量的KNN检索在语义搜索、商品推荐、智能问答等领域有非常大的潜力。当前大多数产品通常仅支持经典的...
pgvector兼容模式使用指南
因此使用pgvector做向量检索的业务可以完全无缝迁移到 AnalyticDB PostgreSQL版 向量数据库中，基本不需要对业务侧的代码做改动。相比于原生的pgvector向量检索引擎，AnalyticDB PostgreSQL版 向量数据库的pgvector兼容模式具有以下优势：...
服务器数据采集方案概述
通过自建Metricbeat收集系统指标信息 您可以使用Metricbeat采集对应机器的指标信息，推送到阿里云Elasticsearch上，然后通过Kibana进行搜索分析，生成对应的图表。使用SkyWalking和Elasticsearch实现全链路监控 您可以通过SkyWalking APM...
创建向量索引
在处理大型数据集或需要快速访问和检索数据的场景（数据库查询优化、机器学习和数据挖掘、图像和视频检索、空间数据查询等）中，创建向量索引是加速向量检索的有效方式，可以提高查询性能、加速数据分析和优化搜索任务，从而提高系统的效率...
事件分析概述
背景信息 事件总线EventBridge 的实时事件分析平台依托事件的实时处理引擎，提供数值检索、可视化分析、多组态分析、事件轨迹、事件溯源和Schema管理等能力。您可以通过简单的引导式交互，即可快速实现基于事件的流式查询与分析，具有无...
Indexing Service系列介绍
您可以根据业务的读写需求选择使用阿里云Elasticsearch内核增强版Indexing Service系列，通过其云上写入托管能力，体验按需购买、按量付费的低成本、高性能的时序日志场景下的Elasticsearch服务。本文主要介绍Indexing Service的适用场景、...
配置Active Directory身份认证
具体操作，请参见 ECS实例搭建Windows系统AD域。本文配置的用户名称为 ccy1，根域为 ccy.com ，如下图所示。使用限制 自2020年10月起，阿里云Elasticsearch对不同地域进行了网络架构的调整，对创建的实例有以下影响：旧网络架构下，如果...
Serverless计费
更多信息，请参见 Serverless资源包。按量付费 计费项 计费项 单价 每小时费用的计算 说明 写入计算资源 0.3975 元/CU/小时 写入计算资源费用=写入计算资源（CU/小时）×单价（元/CU/小时）。说明 单个应用每小时写入计算资源用量不足时，...
现代IM系统中的消息系统—架构
本章节主要介绍现代IM系统中的消息系统架构以及基于表格存储（Tablestore）自研的Timeline模型构建的消息系统。基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现...
文本向量场景快速入门
购买实例 购买实例可参考 购买OpenSearch向量检索版实例。配置集群 新购买的实例，在其详情页中，实例状态为“待配置”，并且会自动部署一个与购买的查询节点和数据节点的个数及规格一致的空实例，之后需要为该实例 配置表信息>数据同步>...
MaxCompute+API 数据源
前置条件 了解MaxCompute（原ODPS），如果您对MaxCompute 没有过多的了解，可 什么是MaxCompute 进行参考。表权限，在配置MaxCompute 数据表时需要登录OpenSearch的账号对该表有相应的权限（describe,select,download,字段的label权限）。...
查看系统审计到的语句
单击表中的 执行次数，系统可跳转至 模板检索 页面，您可以在该页面对SQL语句模板信息进行查询，以便快速定位高危SQL语句。更多 模板检索 功能信息，请参见 模板检索。客户端统计：以图表的方式，展示客户端统计数据。您可以自定义选择查看...
- 产品推荐
- 这些文档可能帮助您