基于向量检索版+LLM构建对话式搜索
并再采用zstd等高效算法进行数据压缩，实现存储成本优化 精细索引结构设计：针对不同类型索引，可采用不同优化策略，降低索引大小 非全内存加载：可以使用mmap非lock的形式加载索引，有效降低内存开销 引擎优势：OpenSearch向量检索版引擎...
查看NAS性能监控
在异常数据发生后，技术人员能及时响应与处理，从而尽快恢复业务。具体操作，请参见 配置基础报警规则。您也可以为多个文件系统创建分组，从分组维度管理报警规则，查看监控数据，降低管理复杂度，提高监控使用效率。具体操作，请参见 创建...
V5.4.x系列实例版本说明
缺陷修复 修复UPSERT中Update list顺序与表定义不同时，类型匹配报错的问题。修复CBO阶段部分场景下agg节点无法下推的问题。修复HashGroupJoin数组越界导致查询失败的问题。修复统计信息表表结构变更的兼容性问题。修复PolarDB-X 1.0对于...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
开源Elasticsearch FAQ
本文列举了一些开源Elasticsearch（ES）相关的常见问题，例如，如何配置索引线程池大小，如何重新分配索引分片，如何批量删除索引等。常见问题概览 如何配置索引线程池大小？出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对...
按使用功能计费模式计费项
索引流量-日志索引 按照日志（未压缩）被构建或重建索引所产生的索引数据量计算索引流量。索引是针对字段构建的，索引流量的大小与索引字段及字段值的长度有关。例如原始日志量为1 GB，写入到日志服务并开启全文索引，则索引流量为1 GB。...
向量计算使用指南
Hologres V2.0.11版本起，支持先导入数据、再创建向量索引，无需对compaction过程中的文件构建向量索引，缩短索引创建时间。先创建向量索引、再导入数据：适用于实时数据场景。设置单个索引 BEGIN;CREATE TABLE feature_tb(id bigint,...
OSS有带宽和QPS限制吗？
000，但在不同的读写方式下，实际能达到的值如下：读写方式 QPS 顺序读写 2,000 非顺序读写 10,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的...
AliSQL内核小版本发布记录
不建议升级到此版本，如遇到备份失败问题，请参见 RDS MySQL 8.0.31(20230630)版本备份失败问题处理。新特性 合并官方 8.0.31 变更。支持取消正在运行的Buffer Pool Online Resize。Statement Concurrency Control功能新增模板级别并发控制...
PolarDB HTAP实时数据分析技术解密
但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟，必须借助DRAM的低读写延时来弥补列式存储更新效率低的问题。因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。...
通过控制台使用SQL查询
物联网存储IoTstore是表格存储基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求推出的一站式物联网解决方案，可为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、...
2023年
修复向量数据库mmap索引文件回收不完备，出现漏删的问题。修复向量数据库mmap引擎的向量算法库在召回Top很低时，通过调参也无法实现100%召回的问题。修复在AO物化视图执行 UPDATE.RETURNING.语句时，RETURNING子句中带有Ctid情况下出现...
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
使用限制
000，但在不同的读写方式下，实际能达到的值如下：读写方式 QPS 顺序读写 2,000 非顺序读写 10,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的...
列存索引如何实现高效数据过滤
它能够减少为了处理查询而必须扫描的数据量，因为它只需要处理与查询范围相关的数据块。另外，minmax索引有助于减少存储索引所需的空间，因为它只需要存储每个块的最小值和最大值，而不是所有数据的索引。Bloom filter Bloom filter是一种...
功能特性
OSS-HDFS服务 数据处理 图片处理 针对OSS内存储的图片文件，您可以在GetObject请求中携带图片处理参数对图片文件进行处理。例如添加图片水印、转换格式等。图片处理 ZIP包解压 当您需要批量上传文件、按特定目录结构上传文件、上传完整的...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
普通消息
} 使用建议 设置全局唯一业务索引键，方便问题追踪 云消息队列 RocketMQ 版 支持自定义索引键（消息的Key），在消息查询和轨迹查询时，可以通过索引键高效精确地查询到消息。因此，发送消息时，建议设置业务上唯一的信息作为索引，方便后续...
文档处理概述
当存在多个处理参数时，OSS将按照参数顺序对文件进行处理。处理参数说明如下表所示。处理操作 参数 说明 文档转换 doc/convert 将OSS中的文档转换为需要的格式。文档在线预览 doc/preview 对OSS中的文档进行预览。文档在线编辑 doc/edit 对...
规格容量评估
操作系统预留空间：默认操作系统会保留5%的文件系统供您处理关键流程、系统恢复以及磁盘碎片等。安全阈值：通常至少预留15%的安全阈值。根据以上因素得到建议集群存储空间：集群存储空间=源数据*（1+副本数量）*索引开销/（1-操作系统预留...
CREATE INDEX
每一个分区首先会被检查是否有一个等效的索引存在，如果有则该索引将被挂接为被创建索引的一个分区索引，而被创建的索引将成为其父索引。如果不存在匹配的索引，则会创建一个新的索引并且自动进行挂接。如果命令中没有指定索引名称，每个...
宽表模型介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
基本概念
元数据 智能媒体管理提供的元数据管理功能可以帮助用户对存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件的元数据进行采集、分析、查询等。元数据管理支持的文件元数据包括：文件大小、文件格式、创建时间等文件的基础信息。...
异常处理
InvalidArgument 参数格式错误 InvalidAccessKeyId AccessKeyId不存在 InvalidBucketName 无效的存储空间名称 InvalidDigest 无效的摘要 InvalidObjectName 无效的文件名称 InvalidPart 无效的分片 InvalidPartOrder 无效的分片顺序 ...
直播转点播
直播转点播（直转点）是将直播流同步录制为点播视频，并支持媒资管理、媒体处理（转码、内容审核、智能封面等AI处理）、内容制作（云剪辑）、CDN分发加速等一系列操作。本文为您介绍直播转点播3种典型搭配的实践方法。准备工作 开通视频...
高维向量检索（PASE）
IVFFlat索引自定义中心点文件 此功能为高级功能，需要在服务器上指定路径上传中心点文件，并作为索引参数构建索引。详细参数请参见 IVFFlat索引参数描述。文件格式如下：向量维度|中心点个数|中心点向量集合 示例 3|2|1,1,1,2,2,2 相关文档...
直播转点播最佳实践
直播转点播是将直播流同步录制为点播视频，并支持媒资管理、媒体处理（转码及内容审核/智能首图等AI处理）、内容制作（云剪辑）、CDN分发加速等一系列操作，可配置工作流自动处理，也可通过API/SDK灵活触发。本文为您介绍直播转点播3种典型...
高维向量检索（PASE）
IVFFlat索引自定义中心点文件 此功能为高级功能，需要在服务器上指定路径上传中心点文件，并作为索引参数构建索引。详细参数请参见 IVFFlat索引参数描述。文件格式如下：向量维度|中心点个数|中心点向量集合 示例 3|2|1,1,1,2,2,2 相关文档...
自然语言到SQL语言转义（基于大语言模型的NL2SQL）
在模板描述中使用【XXX】格式表示，并且需要与模板问题中的参数顺序保持一致。模板SQL：与用户问题对应的正确的SQL语句，且需要将一些变量作为参数，参数需要和模板问题中的参数保持一致。模板问题和模板SQL中同前缀的参数，其参数值存在...
基本概念
一个索引通常使用一个名称（所有字母必须小写）来标识，当针对这个索引的文档执行索引、搜索、更新和删除操作的时候，这个名称被用来指向索引。类型（type）一个类型通常是一个索引的一个逻辑分类或分区，允许在一个索引下存储不同类型的...
将Amazon OpenSearch Service中的Elasticsearch索引...
本文介绍如何将Amazon OpenSearch Service中的Elasticsearch（以下简称ES）索引数据迁移到阿里云Elasticsearch中。方案说明 该方案不局限云服务厂商，均依赖ES快照机制实现。例如，使用阿里云在线迁移（迁移实施）将存储在腾讯云COS的ES...
概述
本文为您介绍Mars的功能、与PyODPS DataFrame的区别和使用场景。使用场景 Mars与PyODPS DataFrame使用场景如下：Mars 经常使用PyODPS DataFrame的 to_pandas()方法，将PyODPS DataFrame转换成Pandas DataFrame的场景。熟悉Pandas接口，但不...
内核增强版高级特性应用
更多信息，请参见 fielddata内存使用率高问题的排查与处理方法。清理fielddata缓存的脚本示例如下，其中和需要替换为您的ES实例的密码和私网地址。在同vpc网络的ECS服务器上配置crontab定时任务，在业务低峰期执行清理fielddata缓存。...
2021年
ST_ImportFrom、ganos.raster.memory_oss_file_max_size Gist/TrajGist索引 GisT索引和TrajGisT索引新增算子族trajgist_ops_multi，用于多外包框索引键值。GisT索引、TrajGisT索引、ganos.trajectory.index_split_config 缺陷修复 新增矢量...
创建普通转码任务
当您需要使用媒体处理进行转码时，可以通过控制台或API提交转码任务。本文为您介绍如何在媒体处理中创建普通转码任务。使用准备 在使用前需要进行一些设置确保功能能够正常使用，如已设置请忽略。开启管道。普通转码可选择标准管道。上传...
高效向量检索（PASE）
IVFFlat索引自定义中心点文件 此功能为高级功能，需要在服务器上指定路径上传中心点文件，并作为索引参数构建索引。详细参数请参见 IVFFlat索引参数描述。文件格式如下：向量维度|中心点个数|中心点向量集合 示例 3|2|1,1,1,2,2,2 相关文档...
CREATE TABLE
table_constraints（索引）AnalyticDB for MySQL 支持多种索引，包括INDEX索引、主键索引、聚集索引、外键索引、全文索引、向量索引等。一个表可以有一种或多种索引。INDEX|KEY 定义普通索引。INDEX和KEY作用相同。默认情况下，AnalyticDB ...
通过控制台使用宽表模型
单击 添加二级索引，输入索引名称，选择索引主键，根据需要选择索引预定义列及索引类型。重要 索引名不能与数据表名称相同，索引名和数据表名称均必须在实例中唯一。索引名称必须由大小写字母、数字或下划线（_）组成，且只能以字母或...
EXPLAIN输出
目前在PolarDB中支持：Seq Scan：顺序扫描 Index Scan：基于索引扫描，但不只是返回索引列的值 IndexOnly Scan：基于索引扫描，并且只返回索引列的值，简称为覆盖索引 BitmapIndex Scan：利用Bitmap结构扫描 BitmapHeap Scan：把BitmapI...
- 产品推荐
- 这些文档可能帮助您