阿里云大模型RAG对话系统最佳实践
在响应用户查询时，RAG对话系统首先利用检索系统从知识库中检索相关内容，然后将检索到的内容与原始查询一同输入大语言模型（LLM），无需重新训练LLM模型就能够获取最新的信息，并产生可靠的输出。RAG对话系统特别适用于问答、摘要生成和...
使用ClickHouse-Local迁移上云
背景信息 如果ClickHouse中提供了您自建数据库系统对应的集成引擎或表函数，或者您自建数据库系统提供了JDBC驱动程序或ODBC驱动程序，您就可以使用ClickHouse-Local作为ETL工具，将数据从当前的数据库系统迁移到云数据库ClickHouse企业版。...
使用Elasticsearch的向量近邻检索（kNN）功能
通过近似kNN检索，您可以高效地找到与查询向量最近的K个向量，其搜索方式与其他查询存在差异，因此对集群性能有特殊要求，可参考以下方式调整：Elasticsearch将每个segment的密集向量值以HNSW图来存储，因此索引向量数据时主要耗时在HNSW图...
快速创建Milvus实例
通过创建阿里云向量检索Milvus实例，能够迅速搭建起具备高性能、弹性伸缩特性的AI向量检索数据库，并借助内置可视化管理工具Attu实现高效运维与监控。本文为您介绍如何快速创建Milvus实例。前提条件 已拥有阿里云账号。如果您还没有阿里云...
文本向量场景快速入门
页面查询测试：效果测试 语法介绍 query=text_index:'文本内容&modal=text&n=10&search_params={}' modal表示模态类型，modal设置为 text n表示指定向量检索返回的top结果数 文本内容需要经过base64编码 SDK中检索数据 添加依赖：pip ...
基于Tair与LLM构建企业专属Chatbot
多模混合检索：完全兼容Redis生态与使用方式，同时还支持向量检索、全文检索及其他多种扩展数据结构，更多信息请参见 Tair扩展数据结构。简单易用：1 GB规格（低成本）起步，支持在线扩、缩容，最高可扩容至16 TB集群。应用场景 私域数据...
使用向量检索插件（aliyun-knn）
开启离线模式构建的索引，不支持使用script检索数据。当一次性批量导入全量数据时，建议开启离线优化模式。mapping type proxima_vector 向量字段类型。例如：将 feature 字段指定为 proxima_vector，说明 feature 为向量字段。dim 2 向量...
产品架构
业务背景 伴随着信息技术的飞速发展，各行各业在业务生产中产生的数据种类越来越多，有结构化的业务元数据、业务运行数据、设备或者系统的量测数据，也有半结构化的业务运行数据、日志、图片或者文件等。按照传统方案，为了满足多种类型...
2023年
pldbgapi 动态数据脱敏 支持对敏感列设置列级别的数据脱敏，应用不同的脱敏函数，将原始数据以脱敏后的形式展示，从而实现对敏感隐私数据的保护，提高数据的安全性。动态数据脱敏 实时物化视图 新增实时数仓样本数据集，用于测试基于实时...
端到端图搜解决方案
示例：vector:'base64编码后的图片&modal=image&n=10&search_params={}'&kvpairs=formula:proxima_score(vector)&sort=RANK SDK中检索数据 添加依赖：pip install alibabacloud-ha3engine 搜索 demo：#-*-coding:utf-8-*-from alibabacloud...
开源Elasticsearch FAQ
说明 ES的_source 字段包含原始JSON文档，提供了从原始文档检索任何字段的能力。通常不推荐开启字段存储，以免增加磁盘空间的使用。以存储 my_field 字段为例：PUT/my_index {"mappings":{"properties":{"my_field":{"type":"text","store...
创建向量索引
在处理大型数据集或需要快速访问和检索数据的场景（数据库查询优化、机器学习和数据挖掘、图像和视频检索、空间数据查询等）中，创建向量索引是加速向量检索的有效方式，可以提高查询性能、加速数据分析和优化搜索任务，从而提高系统的效率...
功能特性
客户端（odpscmd）或Studio DataWorks数据下载 MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。DataWorks数据下载 数据迁移 相关工具 支持通过MaxCompute客户端（Tunnel）、DataWorks数据集成...
跨云账号单向同步云数据库Redis实例
如果源或目标数据库是IDC自建数据库或其他云数据库，则需要您手动添加对应地区DTS服务的IP地址，以允许来自DTS服务器的访问。DTS服务的IP地址，请参见 DTS服务器的IP地址段。警告 DTS自动添加或您手动添加DTS服务的公网IP地址段可能会存在...
离线同步常见问题
读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据 读取Loghub字段映射时读到的字段不符合预期 读取kafka配置了endDateTime来指定所要同步的数据的截止范围，但是在目的数据源中发现了超过这个时间的数据 Kafka中数据量少...
功能特性
通过DataX导入Prometheus数据 从自建HDFS迁移数据 通过Distcp工具实现全量或增量的HDFS数据迁移，将在开源HDFS的数据平滑地迁移到Lindorm的文件引擎中。从自建HDFS迁移数据 从OSS迁移数据 将对象存储OSS上的数据迁移至Lindorm文件引擎。从...
日志监控
高级监控报警的日志监控功能提供了慢查询日志、慢索引日志、访问日志和主日志等日志监控能力，方便您实时获取集群日志情况，从运维角度，能够帮助您快速排查和定位问题。本文主要介绍如何通过日志监控功能获取监控数据以及如何快速过滤日志...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
新功能发布记录
备份策略设置 PolarDB分布式版 跨地域备份 PolarDB分布式版 2.0支持跨地域备份功能，通过备份策略设置可自动将全量数据备份数据和增量日志备份数据从地域A转储到地域B，并支持将备份数据恢复为地域B的数据库实例，满足数据库高可用性和等保...
Stream Load
StarRocks支持从本地直接导入数据，支持CSV文件格式，数据量在10 GB以下。本文为您介绍Stream Load导入的基本原理、使用示例和最佳实践。背景信息 Stream Load是一种同步的导入方式，通过发送HTTP请求将本地文件或数据流导入到StarRocks中...
基于向量检索版+LLM构建对话式搜索
中数据场景 数据来源阿里巴巴智能引擎事业部团队，2022年11月 OpenSearch向量检索版VS开源引擎性能：大数据场景 数据来源阿里巴巴智能引擎事业部团队，2022年11月 优势二：低成本：采用多种方式优化存储成本、减少资源消耗 数据压缩：可将...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
消息检索
同时，阿里云不承诺消息检索的SLA，使用消息检索所依赖的其他产品的SLA和费用说明请以对应产品为准。注意事项 首次开通消息检索时，仅会自动开通同地域下的表格存储服务。当前消息检索功能已支持在多个地域使用。具体信息，请参见 开服地域...
基于向量检索版+LLM构建对话式搜索
中数据场景 数据来源阿里巴巴智能引擎事业部团队，2022年11月 OpenSearch向量检索版VS开源引擎性能：大数据场景 数据来源阿里巴巴智能引擎事业部团队，2022年11月 优势二：低成本：采用多种方式优化存储成本、减少资源消耗 数据压缩：可将...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
案例：构建文本语义检索系统
本文介绍如何使用AnalyticDB PostgreSQL向量数据库构建文本语义检索系统。背景信息 文本语义检索旨在通过理解查询文本的意图以及文本含义来得到更好的搜索结果。和传统的词法搜索不同，词法搜索通常只关注查询的关键词，而不理解查询的整体...
向量检索
AnalyticDB PostgreSQL版 提供完全按照相似度距离排序的精确检索（搜索速度较慢）和使用HNSW索引的近似索引检索（搜索速度快）两种向量检索方式。精确检索 完全按照相似度距离排序的暴力搜索。此方式需要比较每一个向量，因此它的搜索速度...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
RDS MySQL迁移至阿里云消息队列Kafka版
您可以根据实际情况，选择是否对全量迁移任务进行限速设置（设置 每秒查询源库的速率QPS、每秒全量迁移的行数RPS 和 每秒全量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 全量迁移 时才可以配置。是否限制增量...
QueryContent-查询文档内容
用自然语句从指定文档库检索向量和元数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
分区索引
例如在上述二级HASH分区中，查询数据时同时输入storeId列和goodsId列的过滤信息会确定在一个分区中进行数据检索，减少数据的扫描范围从而提高查询效率。使用二级HASH分区时，一级分区键（Lindorm搜索表的第一列即storeId列）必须设置加盐...
识别任务说明
文件或表扫描限制 为了避免数据源中文件或表过大影响整体扫描进度，数据安全中心对可以扫描的文件大小或表的字段大小做了限制，请您在进行敏感数据扫描前了解以下规则：结构化数据（RDS MySQL、RDS PostgreSQL、PolarDB等）、大数据...
RDS MySQL同步至阿里云消息队列Kafka版
是否限制增量同步速率 您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置 每秒增量同步的行数RPS 和 每秒增量同步的数据量(MB)BPS），以缓解目标库的压力。环境标签 您可以根据实际情况，选择用于标识实例的环境标签。本...
CREATE MODEL
您可以根据业务场景，在CREATE MODEL语句中设置推理任务类型、配置任务参数，创建不同类型的模型，例如文生图、检索问答、时序预测等模型。引擎与版本 CREATE MODEL语法适用于时序引擎和AI引擎。时序引擎3.4.26及以上版本支持CREATE MODEL...
Vector
TairVector是 Tair 自研的扩展数据结构，提供高性能、实时，集存储、检索于一体的向量数据库服务。TairVector简介 TairVector采用多层Hash的数据结构，如下所示：TairVector提供了HNSW（Hierarchical Navigable Small World）和暴力搜索...
接口说明
支持设置返回结果：支持设置是否将中文数字转为阿拉伯数字输出，支持对多声道音频只处理首个声道。支持控制台配置项目热词、定制语言模型。目前支持的语种和方言模型如下：语种 语言 模型名称 采样率 标点 ITN 顺滑 语义断句 声音和文本...
RDS MySQL同步至阿里云消息队列Kafka版
数据传输服务DTS（Data Transmission Service）支持 RDS MySQL 实例同步至 阿里云消息队列Kafka版。前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例...
实例动态数据（实例标识）
当您在ECS实例中写入敏感数据时，您可以使用实例标识来确保当前所写入的位置是您的ECS实例而不是其他环境。其他需要确认目标服务器来源的场景。获取实例标识文档/签名（推荐）加固模式下获取 Linux实例#获取服务器访问凭证，需设置有效期，...
参考：Proxima CE全量参数说明
当某个类目下的doc数超过该阈值时判断该类目走大类目检索，否则走小类目检索，其中小类目检索默认采用线性检索方式，且多个小类目数据合并在一起检索。1000000 category_col_num 按类目查询时，小类目（doc数小于100万）构建索引的列数，...
DECLARE
INSENSITIVE 指示从游标中检索数据的过程不受游标创建之后在其底层表上发生的更新的影响。在PolarDB中，这是默认的行为。因此这个关键词没有实际效果，仅仅被用于兼容 SQL 标准。SCROLL NO SCROLL SCROLL 指定游标可以用非顺序（例如，反向...
- 产品推荐
- 这些文档可能帮助您