常见问题
原因：宽表引擎的主键、二级索引和MySQL联合索引的匹配规则类似，均遵循最左匹配原则，即在多个列组成的联合主键或索引中，系统从主键或索引键的第一列（最左侧列）开始逐一与查询条件中的列进行匹配。如果查询条件中不包含主键或索引键的...
动态增加或删除列存索引的DDL语法
从列存索引删除一列 ALTER TABLE t8 MODIFY COLUMN col2 DATETIME COMMENT 'COLUMNAR=0';创建覆盖多列的列存索引 在OLAP应用中，涉及到的表大多数为大宽表。您可以通过表的COMMENT来简化大宽表创建列存索引的方式，即默认为宽表在所有支持...
通过Reindex API迁移自建Elasticsearch数据
Reindex API是Elasticsearch提供的一种用于将数据从原有的索引迁移至目标索引的接口。如果您需要迁移数据，且源索引的数据不需要进行复杂的转换和处理，您可以按照本文提供的步骤，使用Reindex API将数据从自建Elasticsearch集群迁移至...
适用场景
但从数据库自身角度出发，业务使用的SQL语句、数据类型、事务、索引、其他功能均是确定的。对于大部分业务而言，只要SQL语法、数据类型、事务、索引支持较为完整，且具备有效手段可在各种极端场景下进行水平扩展，那么对于高速发展的业务而...
集群负载不均问题的分析方法及解决方案
从结果可以看到test索引的shard在负载高的节点上呈现的数量较多，说明shard分配不均；然后查看磁盘使用率监控图，显示负载高的节点使用率比其他节点高。由此可以得出，shard分配不均衡导致存储不均，在业务查询或写入中，存储高的节点承担...
ALTER INDEX
修改现有索引。语法 PolarDB PostgreSQL版（兼容Oracle）支持与Oracle数据...示例 将索引的名称从name_idx更改为empname_idx：ALTER INDEX name_idx RENAME TO empname_idx;重新生成名为empname_idx的索引：ALTER INDEX empname_idx REBUILD;
手动/定时索引重建
从数据源导入数据后，做数据处理，发给build服务做索引构建，全量导入的build任务是定期执行一轮，一轮的时间是30分钟左右。因此文档数很少的情况下，也可能需要一些时间完成全量任务。控制台的索引重建进度为阶段性展示。注意：当存在线上...
定时索引重建
从数据源导入数据后，做数据处理，发给build服务做索引构建，全量导入的build任务是定期执行一轮，一轮的时间是30分钟左右。因此文档数很少的情况下，也可能需要一些时间完成全量任务。控制台的索引重建进度为阶段性展示。注意：使用“线下...
检查索引使用
在从 100000 行中选出 1000 行时可能会用到索引，但是从 100 行里选出 1 行是很难用到索引的，因为 100 行完全可能放入到一个磁盘页面中，而没有任何计划能够比得上从一个磁盘页面顺序获取的计划。在创建测试数据时也要小心，特别是当应用...
索引表加载策略
索引表在加载时，针对每个索引文件，从上到下依次匹配策略规则，优先使用第一个匹配的策略加载索引文件。配置示例 JSON {"load_config":[{"file_patterns":["_ATTRIBUTE_","/index/title/.*","/index/body/dictionary"],"load_strategy":...
索引表加载策略
索引表在加载时，针对每个索引文件，从上到下依次匹配策略规则，优先使用第一个匹配的策略加载索引文件。配置示例 JSON {"load_config":[{"file_patterns":["_ATTRIBUTE_","/index/title/.*","/index/body/dictionary"],"load_strategy":...
阿里云ES间跨集群reindex
说明 从远程集群重建索引数据，不支持手动切片或自动切片。详细信息，请参见 手动切片 和 自动切片。执行成功后，预期结果如下。{"took":51,"timed_out":false,"total":2,"updated":2,"created":0,"deleted":0,"batches":1,"version_...
pgvector兼容模式使用指南
pgvector目前主要在单机PostgreSQL数据库上使用，而 AnalyticDB PostgreSQL版 向量数据库是分布式版，能处理更大的向量数据量。AnalyticDB PostgreSQL版 向量数据库使用自研的FastANN向量检索引擎，具备比原生pgvector更优秀的性能，详情请...
升级检查
Elasticsearch从6.x版本开始，不再支持一个索引多个type。而升级后，在5.x版本中创建的多type索引，在6.x版本中依然可以正常写入，但是在6.x版本中新建多type索引时会报错。因此，建议在升级前，按照官方标准，将5.x版本中的多type索引拆分...
PolarDB PostgreSQL版：ePQ架构详解
相较于单机并行，分布式ePQ并行充分利用了所有RO节点的计算资源和底层共享存储的I/O带宽，从根本上解决了前文提及的HTAP诸多挑战。在TPC-H的22条SQL中，有3条SQL加速了60多倍，19条SQL加速了10多倍，平均加速23倍。如图所示：测试弹性扩展...
CREATE TABLE
table_constraints（索引）AnalyticDB for MySQL 支持多种索引，包括INDEX索引、主键索引、聚集索引、外键索引、全文索引、向量索引等。一个表可以有一种或多种索引。INDEX|KEY 定义普通索引。INDEX和KEY作用相同。默认情况下，AnalyticDB ...
PolarDB PostgreSQL版：ePQ架构详解
相较于单机并行，分布式ePQ并行充分利用了所有RO节点的计算资源和底层共享存储的I/O带宽，从根本上解决了前文提及的HTAP诸多挑战。在TPC-H的22条SQL中，有3条SQL加速了60多倍，19条SQL加速了10多倍，平均加速23倍。如图所示：测试弹性扩展...
Search
TFT.MSEARCH TFT.MSEARCH index_count index[index1].query 根据query语句搜索多个索引的文档（待查询索引的 mappings 和 settings 的配置必须相同），汇聚多个索引的查询结果，再次进行打分、排序、聚合并返回。TFT.EXPLAINCOST TFT....
向量计算概述
Proxima的基本模型 Proxima的基本模型分为索引构建和在线检索两部分：索引构建：从原始向量数据中构建出相关索引文件，并传予在线检索模块加载使用。支持多种Brute Force、KD-Tree、Product Quantization、KNN Graph、LSH等。在线检索：...
调优原理和执行计划
PolarDB-X 的索引一般分为局部索引和全局索引，局部索引是指单个DN节点的索引（MySQL索引），全局索引是指构建在多个DN上的分布式索引。选择合适的索引，可以极大提高 PolarDB-X 的检索速度。执行计划介绍 一条SQL进入到 PolarDB-X 分布式...
创建向量索引
在处理大型数据集或需要快速访问和检索数据的场景（数据库查询优化、机器学习和数据挖掘、图像和视频检索、空间数据查询等）中，创建向量索引是加速向量检索的有效方式，可以提高查询性能、加速数据分析和优化搜索任务，从而提高系统的效率...
使用须知
问题描述：如果用户对应的索引存储的cache在一定时间内没有被访问，那么会从cache中删除。解决方法：重启queryserver或者重客户端，或者重新设置cache的过期时间。对于数据量较大的复杂查询（JOIN、ORDER BY、GROUP BY），您需要合理地控制...
指标含义与异常处理建议
集群中存在大量索引或总分片数量非常多 由于Elasticsearch会监控集群中的索引并写入日志，因此当总索引或总分片数量过多时，容易引起CPU或HeapMemory使用率过高，或load_1m负载过高，影响整个集群查询速度。在集群上执行过Merge操作 Merge...
Profile性能诊断及优化案例
Query Profile优化案例 Bitmap索引 Bloom filter索引 优化数据倾斜 单表物化视图 确认Join左右表Plan是否合理 确认JoinRuntimeFilter是否生效 Colocate Join 确认分桶或分区裁剪是否生效 Bitmap索引 Bitmap索引是一种使用bitmap的特殊数据...
基础概念
本文为您介绍智能召回引擎BE的...全量 全量，即为通过自动调度策略或者手工触发从数据源地址拉取最新版本的数据源生成索引新的版本，全量替换上一个版本索引的过程。实时增量 BE支持通过消息接口实时更新索引数据，例如物品特征的实时更新。
PolarDB MySQL版8.0.1版本发布日志
修复X-Engine引擎从只读副本（replica）升级到同步备库（standby）的过程中，升级失败的问题。修复在高并发查询场景下使用列存索引时，优化器内存占用过多的问题。修复使用列存索引更新分区表上的统计信息时，可能因只采样部分分区而造成...
内核增强版高级特性应用
日志场景一般管理的索引数、数据量比较大，而大批量删除索引或数据（如减少TB级别索引副本数），可能会影响节点稳定性，建议避免一次性大批量删除索引，结合ILM管理索引生命周期，将大数据量索引建议拆分成小索引。索引存储到Openstore智能...
弹性扩缩集群资源
PUT elastic_index/_settings {"index.routing.allocation.require.elastic_type":"data"} 执行以下命令，配置非弹性索引，确保其分配在普通数据节点上，从节点维度进行业务索引隔离。PUT normal_index/_settings {"index.routing....
PolarDB MySQL版8.0.2版本发布日志
8.0.2.2.22.1 类别 说明 发布时间 新增功能和性能优化 优化了将冷数据从OSS导回至InnoDB引擎的报错信息内容。支持在SQL Trace中配置跟踪慢查询的执行信息。2024-04-17 问题修复 修复Statement Outline和Concurrency Control等功能在执行...
预读和预扩展
本文介绍了堆表预读、堆表预扩展以及索引创建预扩展的简介、原理以及使用方法等。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.1及以上）说明 您可通过如下...
预读和预扩展
本文介绍了堆表预读、堆表预扩展以及索引创建预扩展的简介、原理以及使用方法等。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL...
阿里云Elasticsearch实例FAQ
新建索引时会偶现索引UUID冲突报错（index uuid conflicted），索引文档写不进去，怎么办？如何修改index.max_result_window（分页查询时查询的最大文档数量）？ES更新数据时报错：Rejecting mapping update to[]as the final mapping ...
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
PolarDB HTAP实时数据分析技术解密
当单机MySQL不能满足需求时，用户寻求一个更好的解决方案。MySQL+专用AP数据库的搭积木方案 专用分析型数据库产品众多，一个可选方案为：使用两套系统来分别满足OLTP和OLAP型需求，在两套系统中间通过数据同步工具进行数据实时同步。用户...
内核版本发布记录
Cluster Coordination 持久化任务不再引用ClusterState，大规模集群中会导致master节点内存升高，为避免大规模集群选主超时，cluster.election.initial_timeout默认值从100 ms改成1 s。更多信息，请参见 ES pull 90724。Indexing Service...
基本概念
gateway对索引快照进行存储，当这个Elasticsearch集群关闭再重新启动时就会从gateway中读取索引备份数据。Elasticsearch支持多种类型的gateway，有本地文件系统（默认）、分布式文件系统、Hadoop的HDFS和阿里云的OSS云存储服务。discovery....
列存索引行列融合基础组件介绍
HybridIndexSearch通过primary key从InnoDB的主索引获取完整的行，进行相关表达式的计算后输出。除了基础组件提供的能力外，HybridIndexSearch需要执行计划中它的子算子输出primary key数据，可以通过优化器搜索执行计划时，设置primary ...
结构设计
新建表要求所有字段不能为可空 新增字段，限制char类型长度 新增字段，限制varchar类型长度 保存编辑，校验索引 新增索引，禁止索引名为关键字 新增索引，限制索引名大小写 新增索引，限制Unique索引名格式 新增索引，限制Normal索引名格式...
多列索引
例如，在(a,b,c)上有一个索引并且给定一个查询条件 WHERE a=5 AND b>=42 AND c，对索引的扫描将从第一个具有 a=5 和 b=42 的项开始向上进行，直到最后一个具有 a=5 的项。在扫描过程中，具有 c>=77 的索引项将被跳过，但是它们还是会被扫描...
配置YML参数
通过配置阿里云Elasticsearch实例的YML参数，您可以设置允许自动创建索引、删除索引指定名称、配置Auditlog索引、开启Watcher以及其他配置。本文介绍如何配置YML参数、CORS访问、reindex白名单、Auditlog和queue大小。注意事项 2020年10月...
- 产品推荐
- 这些文档可能帮助您