表达式索引
一个索引列并不一定是底层表的一个列，也可以是从表的一列或多列计算而来的一个函数或者标量表达式。这种特性对于根据计算结果快速获取表中内容是有用的。例如，一种进行大小写不敏感比较的常用方法是使用 lower 函数：SELECT*FROM test1 ...
为什么索引流量费用是读写流量费用的几倍？
索引流量是按照未压缩数据被构建或重建索引所产生的索引数据量计算的，而读写流量是按照压缩后数据的传输数据量计算的。索引数据的大小和日志内容的复杂度与建立索引的字段数量有关。例如原数据10 GB，创建的索引文件为8 GB，原数据压缩后...
如何降低索引流量费用？
关闭日志聚类 开启日志聚类功能后，索引总流量增加10%，示例如下表所示：原始日志大小 索引比例 日志聚类功能产生的索引量 索引总流量 100 GB 20%（20 GB）100 GB×10%30 GB 100 GB 40%（40 GB）100 GB×10%50 GB 100 GB 100%（100 GB）100...
概述
本文介绍了列存索引的特点、架构和适用场景。简介 传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。为应对数据...
概述
适用场景 使用订单表或日志表等业务场景 对于在使用订单表或日志表等业务场景下创建的分区表，通常会选择按照时间进行RANGE分区，但一般只对最新的一到两个分区进行频繁的查询，从需求角度来讲，仅在查询频繁的分区上创建对应的二级索引...
GIN和GiST索引类型
可以通过以下任意一种方式创建索引：创建基于 GIN（通用倒排索引）的索引。CREATE INDEX name ON table USING GIN(column);column 必须是 tsvector 类型。创建基于 GiST（通用搜索树）的索引。CREATE INDEX name ON table USING GIST...
向量检索版介绍
数据同步流程 全量流程 OpenSearch-向量检索版的索引是支持多版本的，每个索引版本都会基于一份原始数据来构建（API数据源默认为空数据），触发一次索引重建就是全量流程。全量流程是一个非常驻任务，数据处理完成，产出一份全量索引，全量...
检查索引使用
尽管本数据库中的索引并不需要维护或调优，但是检查真实的查询负载实际使用了哪些索引仍然非常重要。检查一个独立查询的索引使用情况可以使用EXPLAIN命令。也可以在一个运行中的服务器上收集有关索引使用的总体统计情况。很难明确地表达...
REINDEX
在这种情况下，对系统来说重要的是没有使用过任何可疑的索引本身（实际上，在这种场景中，你可能会发现服务器进程会在启动时立刻崩溃，这是因为对于损坏的索引的依赖）。要安全地恢复，服务器必须用-P 选项启动，这将阻止它使用索引来进行...
多列索引
这个索引在原则上可以被用于在 b 和/或 c 上有约束而在 a 上没有约束的查询，但是整个索引都不得不被扫描，因此在大部分情况下规划器宁可使用一个顺序的表扫描来替代索引。多列GiST索引可以用于条件中涉及到任意索引列子集的查询。在其余列...
PolarDB PostgreSQL版：ePQ架构详解
OLTP业务中有大量的索引，而B-Tree索引创建的过程大约有80%的时间消耗在排序和构建索引页上，20%消耗在写入索引页上。如下图所示：PolarDB PostgreSQL版 利用RO节点对数据进行分布式ePQ加速排序，采用流水化的技术来构建索引页，同时使用...
CREATE INDEX
每一个分区首先会被检查是否有一个等效的索引存在，如果有则该索引将被挂接为被创建索引的一个分区索引，而被创建的索引将成为其父索引。如果不存在匹配的索引，则会创建一个新的索引并且自动进行挂接。如果命令中没有指定索引名称，每个...
PolarDB PostgreSQL版：ePQ架构详解
OLTP业务中有大量的索引，而B-Tree索引创建的过程大约有80%的时间消耗在排序和构建索引页上，20%消耗在写入索引页上。如下图所示：PolarDB PostgreSQL版（兼容Oracle）利用RO节点对数据进行分布式ePQ加速排序，采用流水化的技术来构建索引...
索引优化
尤其是结合排序键对数据聚集，可以达到用很小的索引达到很惊艳的索引加速效果。考虑对经常进行join操作的列建索引：在执行join时使用索引可能会有更好的执行计划。对于经常做限定条件查询的列建索引：对于经常更在WHERE后面做限定条件的列...
列存索引如何实现高效数据过滤
另外，minmax索引有助于减少存储索引所需的空间，因为它只需要存储每个块的最小值和最大值，而不是所有数据的索引。Bloom filter Bloom filter是一种常用的概率型数据结构，用于判断一个元素是否属于某个集合中。它使用一个比特数组和一组...
Search
避免在单个索引中插入过多的文档，建议将文档存入多个不同的索引中，并控制单个索引的文档数在500万以下，从而规避（集群）实例发生数据倾斜，均衡读写流量，避免造成大Key与热key。命令列表 表 1.全文检索命令 命令 语法 说明 TFT....
只用索引的扫描和覆盖索引
例如，给定的索引建立在表的列 x 和 y 上，而该表还有一个列 z，这些查询可以使用只用索引的扫描：SELECT x,y FROM tab WHERE x='key';SELECT x FROM tab WHERE x='key' AND y;``` 但是这些查询不能使用只用索引的查询：```sql SELECT x,z ...
如何选择二级索引和多元索引
在实际业务中，主键查询也常常不能满足需求，而使用Filter在大数据量时效率很低。Tablestore推出了二级索引和多元索引两个功能来弥补原生Tablestore查询方式单一的缺点。索引介绍 表格存储提供了二级索引和多元索引用于加速数据查询。二级...
深度解析Lindorm搜索索引（SearchIndex）特性
索引通常用来加速查询，可以通过增加一种新的索引类型来解决海量数据的复杂查询问题，Lindorm作为一个多模数据库，原生支持搜索引擎，天然具备全文索引能力。因此，通过融合搜索引擎，Lindorm宽表增加了SearchIndex，使得业务在不用感知...
通过索引生命周期管理Heartbeat数据
在弹出的对话框中，从 Lifecycle policy 列表中选择 步骤三：创建ILM策略 中创建的生命周期策略，并在 Index rollover alias 输入框中输入 步骤四：为ILM策略关联索引模板 中定义的索引别名，单击 Add policy。关联成功后，结果如下图。...
列存索引（IMCI）发布说明
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
概述
ETL数据加速计算场景：依托 PolarDB 基于列存索引提供的强大而灵活的计算能力，在 PolarDB 中使用SQL来实现ETL功能。性能提升情况 列存索引功能对SQL查询操作有明显的加速作用，查询性能甚至可以提升百倍。接下来我们以标准TPC-H测试的数据...
计量计费项
多元索引的预留读吞吐量费用包含以下资源消耗：创建索引时，会先从数据表中读取数据，从而消耗一定读吞吐量。创建索引需要消耗写吞吐量，且创建索引时可能还会有分词，对资源的消耗会比较高。这部分费用也会包括在预留读吞吐量中，不会再...
查询计划和查询重规划
在服务端对发生replan的查询条件使用索引过滤来限制使用的索引，示例如下。设置索引过滤 db.runCommand({ planCacheSetFilter:"<collection>",query:{ a:"ABC"},projection:{ b:1,_id:0 },sort:{ c:1 },indexes:[{ a:1,c:1,b:1 }]})/移除...
手动备份与恢复
通过快照备份与恢复命令，您可以实现手动备份与恢复阿里云Elasticsearch实例的索引数据，并将备份的数据保存到一个共享仓库里。本文介绍如何手动备份与恢复数据。背景信息 ES数据备份与恢复依赖于elasticsearch-repository-oss插件，阿里云...
如何高效地查询时序数据
本文介绍了时序表的索引机制，以及查询时序表的最佳实践。背景信息 时序数据的模型请参见 如何设计时序数据表，数据是按照时间序列来进行组织的。所以在时序数据表中，所有标记 TAG 的列（标签列）会被建立为索引列，来表示每一条数据具体...
现代IM系统中的消息系统—架构
消息检索的实现依赖于对消息存储库内消息的索引，通常是一个近实时（NRT，near real time）的索引构建过程，这个索引同样是在线的。以上是传统架构和现代架构的一个简单的对比。现代架构上整个消息的同步、存储和索引流程，并没有变复杂太...
向量检索
各字段说明：score：在三种检索方式中的score分别表示欧氏距离，内积距离和余弦相似度，并且分别按欧氏距离从小到大排序，按点积距离从大到小排序，按余弦相似度从大到小排序。向量列名称。向量表名称...
开源Elasticsearch FAQ
规范的索引名称只包含英文、下划线和数字，您可以通过修改索引名称来修复此问题。查询不正常：说明索引或集群本身存在问题。请确保集群中存在该索引，且集群处于正常状态。如何修改自动创建索引 auto_create_index 参数？执行以下命令修改...
TimeStream管理Elasticsearch时序数据快速入门
PUT_time_stream/test_stream 与直接通过Elasticsearch create index命令（PUT test_stream）创建的索引相比，通过TimeStream的创建索引接口创建的索引是 DataStream索引，而不是一个具体的索引，并且自动集成了Elasticsearch在时序场景的...
高维向量检索（PASE）
值越大查询准确率越高，但建索引时间越慢，同时索引量占空间越大，建议取值范围[16-128]。ef_build 创建索引过程中的堆长度。必填项。越长效果越好，但创建索引越慢，建议取值范围[40,400]。ef_search 查询过程中的堆长度。必填项。越长...
高维向量检索（PASE）
值越大查询准确率越高，但建索引时间越慢，同时索引量占空间越大，建议取值范围[16-128]。ef_build 创建索引过程中的堆长度。必填项。越长效果越好，但创建索引越慢，建议取值范围[40,400]。ef_search 查询过程中的堆长度。必填项。越长...
指标含义与异常处理建议
集群中存在大量索引或总分片数量非常多 由于Elasticsearch会监控集群中的索引并写入日志，因此当总索引或总分片数量过多时，容易引起CPU或HeapMemory使用率过高，或load_1m负载过高，影响整个集群查询速度。在集群上执行过Merge操作 Merge...
PolarDB HTAP实时数据分析技术解密
因此要达到最极致的分析性能必须使用列式存储，而列式存储中索引稀疏导致的索引精准度问题决定它不可能成为TP场景的存储格式，如此行列混合存储成为一个必选方案。但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟...
全局索引
PolarDB PostgreSQL版（兼容Oracle）支持分区表中的任意一列作为主键或者外键引用，该优势依赖于Global Index，无论主键还是外键引用都需要有唯一索引，而Local Index作为唯一索引的前提是它的索引键必须包括分区键，如果没有Global Index...
VACUUM
对具有 GIN 索引的表，VACUUM（任何形式）也会通过将待处理索引项移动到主要 GIN 索引结构中的合适位置来完成任何待处理的索引插入。我们建议经常清理活动的生产数据库（至少每晚一次），以保证移除失效的行。在增加或删除了大量行之后，对...
多元索引最佳实践
本文从数据表设计、多元索引设计、多元索引使用三个方面介绍了使用多元索引的最佳实践。数据表相关设计实践 主键设计 Tablestore数据表根据分区键进行Range范围分区，主键的设计会影响多元索引的同步速度和部分场景下的查询水平拓展。主键...
BloomFilter索引
如果仅能在整个数据块的起始行键上建立索引，那么它是无法提供细粒度的索引信息的。因为要查找的行数据可能会落在该数据块的行区间上，可能行数据没在该数据块上，也可能是表中根本就不存在该行数据，或者是行数据在另一个HFile里，甚至在...
高效向量检索（PASE）
值越大查询准确率越高，但建索引时间越慢，同时索引量占空间越大，建议取值范围[16-128]。ef_build 创建索引过程中的堆长度。必填项。越长效果越好，但创建索引越慢，建议取值范围[40,400]。ef_search 查询过程中的堆长度。必填项。越长...
- 产品推荐
- 这些文档可能帮助您