免费体验PolarDB MySQL列存索引（IMCI）
本文介绍了如何免费体验 PolarDB MySQL版 列存索引（IMCI）功能。背景 PolarDB列存索引适用于：对在线数据有轻量型数据分析需求的场景，如实时报表；ETL数据加速计算场景：依托PolarDB基于列存索引提供的强大而灵活的计算能力，在PolarDB中...
多列索引
（即将我们的/dev 目录保存在数据库中）而且我们经常会做如下形式的查询：SELECT name FROM test2 WHERE major=constant AND minor=constant;那么我们可以在 major 和 minor 上定义一个索引：CREATE INDEX test2_mm_idx ON test2(major,...
基于TairSearch加速多列索引联合查询
然而，当业务场景需要在数据库中进行多列索引联合查询或 LIKE 模糊匹配查询时，普通的KV缓存系统无法较好地独立支撑以上场景，往往需要引入Lua脚本或外部计算等额外的过滤匹配机制实现联合查询。KV缓存系统在多列索引联合查询场景的局限性 ...
设置列索引的排序键
列数据块有不同次序的组织方式，进而会产生不同组合的列数据块集合，Pruner也会有不同的过滤效果，因此，用户可以根据查询条件来修改列数据块的排列顺序，以提高查询性能。如上图所示，当执行以下SQL语句时，针对无序列数据块集合，需要...
获取创建列存索引的DDL语句
调用存储过程 dbms_imci.columnar_advise()，可以针对某条SQL语句来获取对应的DDL语句，执行获取到的DDL语句可以为未被列索引覆盖的列添加列索引，按顺序执行完DDL语句后，即可保证这条SQL语句中使用的所有列都被列索引覆盖。前提条件 ...
检查SQL语句中的表是否已创建列索引
SQL语句没有特殊的长度限制，但客户端向数据库发送的SQL语句长度受限于 max_allowed_packet 等参数，以及解析SQL语句时使用的 thread_stack 参数。如果列存索引不支持SQL语句中使用的列的类型，调用该存储过程时会返回错误信息。SELECT ...
列存索引
查询列存索引 列存索引创建成功后，索引数据会持续构建，宽表作为主表会持续将表中的数据同步至列存索引表中。数据同步包括存量数据同步和增量数据同步，增量数据同步过程中，索引数据与主表的数据会存在延迟，延迟时间小于30分钟。您可以...
列存索引（IMCI）
列存索引（IMCI）概述 免费体验PolarDB MySQL列存索引（IMCI）使用说明 添加只读列存节点 列存索引语法说明 HTAP行列分流方案 进阶使用列存索引 列存索引配置参数说明 列存索引技术白皮书 列存索引原理剖析 列存索引常见问题
设置列索引查询过滤算法
执行查询语句时，您可以通过列存索引的pruner功能，过滤掉数据库中不需要访问的数据块，以提高SQL语句的查询速度。本文介绍pruner的适用场景、注意事项、语法和相关参数等内容。简介 列存索引数据以单列数据块（默认包含64K行，可以通过 表...
批量获取创建列存索引的DDL语句
某些场景中，需要为某个业务或某个模块创建列索引，而不仅仅是为一条或者几条 SELECT 语句中的列创建列索引。在这种场景下，为了避免重复创建列索引，可以先调用存储过程 dbms_imci.columnar_advise_begin()，然后再批量调用存储过程 dbms_...
列存索引配置参数说明
本文介绍了与列存索引相关的参数，以及参数说明内容。参数 说明 loose_imci_auto_update_statistic 当统计信息过旧时，列存索引（IMCI）优化器是否重新收集统计信息。取值范围如下：ASYNC（默认）：当统计信息过旧时，列存索引（IMCI）优化...
使用扩展属性定制列存索引
您可以使用列存索引的扩展属性来定制列存索引。本文介绍了列存索引的扩展属性以及使用扩展属性来定制列存索引的方法。扩展属性 pack_shift 用于设置列存索引数据的行组（row group）大小。列存索引数据的行组大小主要影响内存常驻部分数据...
建表时创建列存索引的DDL语法
通过集群地址连接到数据库集群。创建列存索引 CREATE TABLE 语法：在建表时，您只需要在 CREATE TABLE 语句的 COMMENT 字段里增加 COLUMNAR=1 字符串，即可创建列存索引。其余语法均不变，且不受影响。COLUMNAR=1 可以单独加在列的 COMMENT...
动态增加或删除列存索引的DDL语法
开启INSTANT DDL后，在列存节点上执行增加和删除列操作时，后台会异步构建列存索引，在构建索引期间，该表的列存索引暂时无法使用，直至列存索引构建完成。查看索引状态 在启用列存索引特性后，当前OLAP查询请求会发给只读列存节点，而不会...
列存索引如何实现高效数据过滤
Nullable列优化 由于Null值处理逻辑比较特殊，数据库索引一般针对Null值的列支持不太好。不同数据库对Nullable列的处理不尽相同。PolarDB IMCI针对Nullable列进行了优化，使得Null值对查询的性能影响大大减少。在PolarDB的用户使用场景中，...
概述
开启列存索引后与ClickHouse性能对比 下图展示了开启列存索引后，执行TPC-H的21条查询语句（Q21除外，ClickHouse不支持）的查询响应时间，与相同数据量和数据结构的ClickHouse数据库的对比。结论：列存索引对大多数的复杂查询操作都有加速...
列存索引（IMCI）发布说明
开启列存索引后与ClickHouse性能对比 下图展示了开启列存索引后，执行TPC-H的21条查询语句（Q21除外，ClickHouse不支持）的查询响应时间，与相同数据量和数据结构的ClickHouse数据库的对比。结论：列存索引对大多数的复杂查询操作都有加速...
列存节点的事务一致性说明
只读列存节点在 PolarDB 一致性级别 中针对复杂查询的处理方式如下：开启 行存和列存自动分流 时，数据库代理对复杂查询（SQL语句的预估执行代价大于阈值）的处理方式不同于普通查询，针对复杂查询，数据库代理会将请求只发送给只读列存...
列存索引语法说明
关于列存索引的使用问题请进钉钉群咨询，群号：27520023189。使用限制 建表时创建列存索引的DDL语法 动态增加或删除列存索引的DDL语法 查看列存索引构建的执行进度 使用Explain分析SQL执行计划 列存索引DDL辅助工具
概述
使用说明 使用列存索引查询复杂的SQL语句时，您需要 检查SQL语句中是否存在未被索引覆盖的列，若存在未被列存索引覆盖的列，您可以针对某条SQL语句 获取创建列存索引的DDL语句 或针对某个业务 批量获取创建列存索引的DDL语句，执行获取到的...
GisT索引
对轨迹数据列创建GisT索引。语法 CREATE INDEX[index_name]on table_name USING GIST(traj_col[operator_family]);index_name：索引名，可以省略。table_name：表名。traj_col：轨迹列名。operator_family：指定索引所使用的算子族，可以...
列存索引测试方法
本文档基于TPC-H基准来测试列存索引的性能，您可以按照本文内容自行测试对比，以快速了解和使用列存索引功能。注意事项 本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准...
列存索引常见问题
如果使用了集群地址并且开启了“行存/列存自动引流”功能，则数据库代理会自动将预估查询阈值超过 imci_ap_threshold 的SQL转发到列存节点。您也可以在SQL语句的SELECT字样前增加/*FORCE_IMCI_NODES*/强制指定将SQL转发到列存节点。示例...
列存索引行列融合基础组件介绍
本文介绍了列存索引行列融合基础组件（优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理）以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理（OLTP）和分析处理（OLAP）混合工作负载在当前的业务...
列存索引延迟告警
当您需要监控 云原生多模数据库 Lindorm 计算引擎中列存索引的同步延迟时，可以通过本文提供的配置方法，设定延迟告警监控功能，来帮助您及时发现和解决其性能问题。前提条件 已开通计算引擎。如何开通，请参见 开通与变配。已开通列存索引...
列存索引技术白皮书
您可以通过技术白皮书了解列存索引的产品特性、典型场景中的性能以及客户案例，帮助您更好的了解和使用列存索引功能。单击此处查看及下载白皮书
设置优化器的Join Reorder
在数据库中定期对需要使用列存索引优化功能的表执行 ANALYZE TABLE 命令，来构建最新的统计信息。（推荐）对于新添加列存索引的表，在只读节点上执行 ANALYZE TABLE 命令构建初始的统计信息，再将参数 loose_imci_auto_update_statistic 的...
列存索引TPC-H测试
步骤7：进行TPC-H测试 在BenchmarkBoot的 运行压测>数据库连接>配置数据库连接 界面中，配置列存只读实例连接串，输入TPC-H库名、建库模式选择 自动判断，单击 提交。在BenchmarkBoot的 运行压测>TPCH>运行TPCH 界面中，选择所有查询、填入...
使用Explain分析SQL执行计划
SQL语句查询的数据列是否被列存索引覆盖，若数据列没有被列存索引覆盖，请为需要使用列存执行计划的数据列创建列存索引，创建列存索引请参见 建表时创建列存索引的DDL语法 或 使用DDL语句动态增删列存索引。对于已开启行存/列存自动引流的...
GisT索引
对轨迹数据列创建GisT索引。语法 CREATE INDEX[index_name]on table_name USING GIST(traj_col[operator_family]);index_name：索引名，可以省略。table_name：表名。traj_col：轨迹列名。operator_family：指定索引所使用的算子族，可以...
列存索引（IMCI）性能
依托于列存索引，PolarDB MySQL版 实现了一体化的实时事务处理和实时数据分析的能力，成为一站式IMCI数据库产品解决方案。列存索引特性在 PolarDB MySQL版 中的功能架构图如下：更多信息请参见 列存索引。注意事项 IMCI功能按需开启，在同...
索引顾问
索引顾问（Index Advisor）可以帮助您确定应该对哪些列编制索引，以提高指定工作负载中的性能。索引顾问仅识别二叉树类型索引（单列或复合），不识别可提高性能的其他索引类型，例如GIN、GiST、Hash等。索引顾问简介 索引顾问会尝试对...
列存索引内存管理介绍
列存索引服务用户广泛、应用场景复杂。用户往往无法对参数进行有效的调整，可能会导致自测结果不理想，或者需要提交工单给内核团队寻求帮助。但内核团队的支持能力有限，不能够保证支持力度。因此，列存索引内存管理的设计目标是能够在默认...
查看列存索引全局一致性视图
示例 假设某个集群中存在两个只读列存节点，且数据库中已创建 t1、t2、t33、t3 和 t4 表。分别在以下3个场景下查询 INFORMATION_SCHEMA.IMCI_INDEXES 表中的列存索引的状态信息。示例中使用的建表语句如下：CREATE TABLE t1(col1 INT ...
使用限制
本文介绍了在 SELECT 语句中使用列存索引功能的限制条件。SELECT 语句 限制 只支持在 SELECT 语句中使用列存索引。以下 SELECT 语句除外：含锁操作的 SELECT 语句。如：SELECT.FOR[UPDATE|SHARE].含frame聚合函数的 SELECT 语句。如：...
设置列存数据压缩算法
为了提高列存模式下的压缩效率，降低存储成本，您可以为创建的列存索引设置压缩算法。本文介绍如何设置和修改列存索引的压缩算法。支持的压缩算法 当前 PolarDB MySQL版 支持两种IMCI的压缩算法：LZ4压缩、ZSTD压缩。LZ4：一种无损数据压缩...
分析外部OSS上的数据
本文介绍了使用列存索引功能查询OSS上的外表数据的技术原理和使用方法等内容。背景信息 业务存续期间，随着时间的推移，数据的规模不断增加导致存储成本上升。用户在应对激烈的市场竞争时，业务逻辑也在不断地发生变化，对应计算分析的复杂...
列存索引中TopK算子的实现
在海量数据上求TopK是一个很经典的问题，特别是衍生出的深翻页查询，给分析型数据库带来了很大的挑战。本文将介绍 PolarDB MySQL版 的列存索引（In Memory Column Index，IMCI）特性如何应对这样的挑战。背景 业务系统中普遍存在这样一种...
pg_opclass
一个操作符类实际上指定了一个特定的操作符族可以用于一个特定可索引列数据类型。该族中可用于索引列的操作符能够接受该列的数据类型作为它们的左输入。列名称 列类型 描述 oid oid 行标识符。opcmethod oid 操作符类所属的索引访问方法。...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
- 产品推荐
- 这些文档可能帮助您