列存索引如何实现高效数据过滤
Runtime filter Runtime filter是一种查询优化技术，它是在查询执行期间动态生成的过滤器。在查询执行过程中，Runtime filter可以根据已经扫描到的数据值或者其他信息，过滤掉不需要的数据，从而减少查询的数据量，提高查询性能。常见的...
优化器
AnalyticDB PostgreSQL版 同时搭载了两套优化器：TP优化器和AP优化器，前者更适合TP场景中的简单查询SQL、后者适合AP场景的复杂查询SQL。AnalyticDB PostgreSQL版 针对HTAP场景进行了不同的优化，极大地提升了数据库性能。MagicSet下推 ...
快速开始
cost_threshold_for_parallelism 若优化器估算查询的串行执行代价超过该阈值，优化器会考虑选择并行执行计划。默认值为50000。设置阈值控制多机并行引擎的自适应弹性调度 PolarDB提供了两个阈值来控制是否选择多机并行，SQL语句只要满足...
优化求解器的审计事件
优化求解器已与操作审计服务集成，您可以在操作审计中查询用户操作优化求解器产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。...查询提示（Query Hints）是SQL提示的一种，用于为优化器修改执行计划提供建议，该修改只能在当前查询提示所在的 查询块 中生效（Query block...
GetSQLReviewOptimizeDetail-获取SQL审核优化建议的...
操作 访问级别 资源类型 条件关键字 关联操作 dms:GetSQLReviewOptimizeDetail Read 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 SQLReviewQueryKey string 是 查询 SQL 审核优化建议详情信息。您可以调用 ListSQLReviewOriginSQL...
并行查询配置参数说明
说明 PolarDB 优化器可能会对主查询和子查询分别并行执行，如果同时并行执行，它们的最大Worker数不能超过 max_parallel_degree 的值，整个查询使用的Worker数为主查询和子查询使用的Worker数之和。parallel_degree_policy Global 设置单个...
调用方式
您可以通过API来使用优化求解器控制台的功能，下面的内容描述如何发起API调用。请求结构 每篇 API 文档均给出了URL请求示例供您参考，我们并没有编码这些 URL 示例，您需要在发起请求前自行编码。如果你使用 SDK 来发起 API 请求，您只需要...
PolarDB处理TPC-H查询的挑战和机遇
如果您从事查询优化和执行的工作，即使是使用OLTP（在线交易）型的数据库系统，也会和TPC-H打上交道。TPC-H是用来评估在线分析处理的基准程序，主要模拟了一个供应商和采购商之间的交易行为，其中包含针对8张表的22条分析型查询。说明 该...
什么是EMR Serverless StarRocks
因此，一款能够准确选择最佳查询计划的优秀查询优化器对于实现最优的多表查询性能至关重要。StarRocks设计并实现了一个全新的、基于代价的优化器（CBO，Cost Based Optimizer）。该优化器采用Cascades-like架构，深度定制以充分利用...
优化内部表的性能
使用Runtime Filter 从V2.0版本开始，Hologres开始支持Runtime Filter，通常应用在多表Join（至少2张表），尤其是大表Join小表的场景中，无需手动设置，优化器和执行引擎会在查询时自动优化Join过程的过滤行为，使得扫描更少的数据量，从而...
概述
构建面向行列混合场景的代价优化器，根据代价智能识别路由，将OLTP类查询转发给行存查询链路、以及将OLAP类查询转发列存查询链路，同时支持在SQL算子级别访问不同的行存和列存，全面落实HTAP的行列混合能力，支持一套SQL引擎的统一访问。...
常见问题以及改进措施
改进执行计划 收集统计信息 AnalyticDB MySQL版 的查询优化器根据统计信息估算不同计划的开销，并选择最佳计划。统计信息会自动收集，一般不需要用户关心，详情请参见 自动收集统计信息。对于新建的表，系统可能还未及时收集统计信息，您...
混合负载HTAP
查询优化器 PolarDB-X 的优化器面向HTAP负载设计，对复杂查询有着良好的支持。TP（Transaction Processing）类事务型查询包含的表数量通常有限（例如3个以内），并且Join条件往往被索引覆盖，且查询涉及的数据量较小。而对于不符合上述特征...
使用Hint
联接方法提示和联接顺序提示 以下内容仅适用查询优化器，使用前请执行以下命令关闭ORCA优化器：SET optimizer to off;联接时t1为左表，且联接类型为MergeJoin：/*+Leading((t1 t2))MergeJoin(t1 t2)*/EXPLAIN SELECT*FROM t1 JOIN t2 ON t1...
使用全局二级索引
索引选择 对于带有全局二级索引的主表查询，PolarDB-X 1.0 会自动选择出优化器认为代价最低的索引表（目前只支持覆盖索引选择）。下面SQL查询的主表是 t_order，带有 seller_id 等值过滤条件，同时涉及的 id、order_snapshot 和 seller_id ...
自适应执行能力
技术原理 通过自适应执行能力，数据库会在优化阶段将查询中各个查询块（Query block）和整体的扫描数据行数加入到监控信息中，如果查询语句在代价计算后没有选择列存，优化器会计算触发自适应执行能力的阈值。在执行阶段，当查询块（Query ...
索引类型
优化器也会将 B-tree 索引用于涉及到模式匹配操作符 LIKE 和~的查询，前提是 如果 模式是一个常量且被固定在字符串的开头—例如：col LIKE 'foo%' 或者 col~'^foo',但在 col LIKE '%bar' 上则不会。但是，如果我们的数据库没有使用 C 区域...
列存索引技术架构介绍
Oracle公司在2013年发表的Oracle 12C上，发布了Database In-Memory套件，其最核心的功能为In-Memory Column Store，即通过行列混合存储/高级查询优化（物化表达式，JoinGroup）等技术来提升OLAP性能。微软在SQL Server 2016 SP1上，开始...
列存表MetaScan加速查询性能
AnalyticDB PostgreSQL版 支持列...MetaScan的限制 目前版本MetaScan与ORCA优化器不兼容，在开启ORCA优化器时，无法使用MetaScan。查看当前优化器的方式是：SHOW OPTIMIZER;on表示是ORCA优化器。优化器相关信息，请参见 两种优化器的选择。
排序优化和执行
下面的SQL表示对t1表进行排序，经过 PolarDB-X 查询优化器的优化，Sort算子被下推至各个存储层MySQL分片中执行，最终只在上层做归并操作。explain select name from t1 order by name;返回信息如下：MergeSort(sort="name ASC")LogicalView...
产品介绍
新一代基于代价的优化器，提升执行计划的准确性 数据库的业务场景是多样化的，如果执行计划选错会导致慢查询。为了系统性地解决这些问题，PolarDB推出了新一代的基于代价的优化器。面向场景的内核定制Feature 面向不同的场景，提供不同的...
Runtime Filter
背景信息 应用场景 Hologres从 V2.0版本开始支持Runtime Filter，通常应用在多表（2表及以上）Join，尤其是大表Join小表的场景中，无需手动设置，优化器和执行引擎会在查询时自动优化Join过程的过滤行为，从而降低IO开销，以此提升Join的...
如何减少查询数据点提高查询效率
时序查询优化的其中一个原则就是，查询命中的数据点越少，查询效率越高。因此来说查询条件尽量精确。如何减少扫过的数据点数 查询周期与写入的采集周期强相关，尽量减少毫秒级采集周期写入。起始时间和结束时间最好对齐小时自然边界，避免...
统计信息收集
统计信息的作用非常关键：查询优化器需要根据最新的统计信息，生成出执行最优的计划。如果统计信息不准或者没有统计信息，优化器有可能会生成执行效率很差的执行计划，例如，对于一个具有索引且行数很多的数据表来说，以索引列为where条件...
查询改写
查询改写组件的主要功能是将用户输入的SQL语句，基于关系模型的等价变换，转换为执行效率更优的形式，从而减少优化器查找最优执行计划的时间，并大幅提升查询的执行效率。一些最为常见的查询变换发生在这个阶段，如"子查询展开"，"谓词下推...
高并发点查
SelectDB的优化器和执行引擎，对于某些简单的查询（如点查询）来说过于繁重，需要SelectDB查询优化器具备规划短路径的能力来处理这样的查询。此外，SelectDB的查询入口层使用Java编写，分析和解析高并发查询SQL也会导致高CPU开销。为了解决...
索引管理
如何选择合适的列创建索引：索引在连接中用到的列 频繁连接的列（例如外键列）上的索引能够提升连接性能，这将让查询优化器有更多可以使用的连接方式。索引在谓词中频繁使用的列 频繁地在WHERE子句中被引用的列是索引的首选。避免在频繁...
概述
Shared access 生成并行计划后，Worker的执行计划引用了可并行执行的子查询，PolarDB 优化器会选择先提前并行执行这些子查询，让Worker可以直接访问这些子查询的结果。Pushed down 生成并行计划后，Worker执行计划引用了相关子查询，这些子...
并行查询
以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather ...
并行查询
以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather ...
并行查询
以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather ...
PolarDB并行查询
并行查询实现 并行优化器 在PQ2.0中，由于计划形态会变得更加多样，如果拆分计划只是依靠简单规则和简单统计是很难得到最优解，因此我们重新实现了一套完全基于cost的并行优化器。基本的流程是在MySQL串行优化后，进一步做并行拆分，这里...
ORDER BY LIMIT执行效率低
说明 该方案会影响Global、Session后续查询的执行，若通过该方案来控制不同查询的优化器行为，则需要在每个查询前对optimizer_switch重新设置，较为繁琐。此外，该方案存在版本限制。prefer_ordering_index参数为Session级别变量，可在实例...
ORDER BY LIMIT执行效率低
说明 该方案会影响Global、Session后续查询的执行，若通过该方案来控制不同查询的优化器行为，则需要在每个查询前对optimizer_switch重新设置，较为繁琐。此外，该方案存在版本限制。prefer_ordering_index参数为Session级别变量，可在实例...
兼容PostgreSQL 14版本公测结束，正式版上线
大表IN查询优化 PostgreSQL 14版本支持 linear search TO hash table probe，提升IN语句的处理性能，在多条件或被过滤掉的数据量大的SQL中性能显著提升。支持LZ4压缩算法 PostgreSQL 14版本支持用户选择LZ4算法进行数据列压缩的能力，提高...
偏高并发场景的实践和优化
本文介绍了如何判断查询语句是否为 点查，以及如何将查询优化为 点查。点查 是应用访问OLTP数据库的一种常见方式，特点是返回结果前只扫描表中的少量数据，在淘宝上查看订单或者商品信息对应到数据库上的操作就是点查。PolarDB-X 对点查的...
2023年
维护定期回收空间任务 优化 ORCA优化器 ORCA优化器针对DQA（Distinct Qualified Aggregates）查询，进行了如下优化：避免使用性能不佳的聚合算子。聚合过程中添加预聚合阶段。减少数据重分布次数。无 事务 AnalyticDB PostgreSQL 7.0版 将...
OOM常见问题排查指南
如下所示设置 optimizer_join_order=query，使优化器按照SQL的书写顺序确定Join Order，适用于复杂Query。set optimizer_join_order=query;select*from a join b on a.id=b.id;会将b作为HashTable的build side 同时也可以根据业务情况，...
Cost-based SQL诊断引擎
基于代价模型 与基于规则不同，DAS中的SQL诊断优化服务采用的是基于代价模型方式实现，即采用和数据库优化器相同的方式去思考优化问题，最终会以执行代价的方式量化评估所有的（或尽可能所有的，因为是最优解求解的NP类问题，因此在一些...
- 产品推荐
- 这些文档可能帮助您