JOIN与子查询的优化和执行
通过如下Hint可以强制 PolarDB-X 1.0 使用Sort-Merge Join：/*+TDDL:SORT_MERGE_JOIN(table_a,table_b)*/SELECT.JOIN顺序 在多表连接的场景中，优化器的一个很重要的任务是决定各个表之间的连接顺序，因为不同的连接顺序会影响中间结果集的...
OOM常见问题排查指南
query：不进行Join Order转换，按照SQL书写的连接顺序执行，优化器开销最低。greedy：通过贪心算法进行Join Order的探索，优化器开销适中。exhaustive（默认）：通过动态规划算法进行Join Order转换，会生成最优的执行计划，但优化器开销...
优化内部表的性能
优化Join Order算法 当SQL Join关系比较复杂时，或者Join的表多时，优化器（QO）消耗在连接关系最优选择上的时间会更多，调整Join Order策略，在一定场景下会减少Query Optimization的耗时，设置优化器Join Order算法语法如下。set ...
PolarDB处理TPC-H查询的挑战和机遇
本文深入分析了TPC-H查询中，可能存在的性能优化点和对应的优化思路，以及MySQL的现状和 PolarDB 做的一些改进工作。背景信息 TPC-H是世界上最为流行的OLAP workload的benchmark程序，只要是和查询处理过程相关的任务，大多会使用TPC-H作为...
SQL错误码（ODPS-01CCCCX）
本文为您介绍SQL错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-01CCCCX:通用描述-上下文相关说明 SQL错误包含META（CCCC段为1000~1999）、PROCESSOR（CCCC段为2000~2999）、PARSER（CCCC段为3000~3999）和PLANNER...
Explain和Explain Analyze
当SQL查询性能不佳或查询结果不符合预期时，Hologres提供了Explain和Explain Analyze命令用于分析查询语句执行计划，可以帮助您了解Hologres如何执行查询语句，以便您对查询语句或数据库结构进行调整优化。本文介绍在Hologres中通过Explain...
EXPLAIN和执行计划
本文着重介绍 PolarDB-X 1.0 执行计划中各个操作符的含义，以便用户通过查询计划了解SQL执行流程，从而有针对性的进行SQL调优。执行计划介绍 与多数数据库系统类似，PolarDB-X 1.0 在处理SQL时，会通过优化器生成执行计划，该执行计划由...
公告
MaxCompute在使用SQL UDF和外部表场景下，提供了SQL反向访问VPC的设置方法，支持UDF和外部表访问VPC中的服务，这里分别介绍两种场景的设置升级方法。UDF场景 在执行包含UDF的SQL任务时，若您是通过以下参数指定UDF访问的VPC以及对应的IP...
PolarDB MySQL版5.7版本发布日志
Join Order Hint新增支持如下关键字，以便优化器选择合适的表连接顺序：JOIN_FIXED_ORDER：强制优化器使用FROM子句中出现的顺序来连接表。JOIN_ORDER：指导优化器使用指定的表顺序连接表。该Hint适用于命名表。优化器可以将未命名的表放在...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
版本发布说明
优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大时，建表的速度。优化部分场景下数据迁移过程的校验速度。缺陷修复 修复XRPC下使用流式早停，小概率导致实例级连接池切库失败的问题。修复子查询...
计划缓存(Auto Plan Cache)
您可以使用 PolarDB MySQL版 提供的Auto Plan Cache功能，来缓存SQL语句的执行计划信息，以缩短查询优化时间，提升SQL语句的查询性能。本文介绍了Auto Plan Cache功能的背景信息、前提条件、依赖的参数和接口等内容。背景信息 执行计划的...
V5.4.x系列实例版本说明
发布日期：2024-02-18 大版本：V5.4.12 小版本：17082300 类别 说明 优化 优化metadata query的创建逻辑，减少依赖。缺陷修复 修复bka join高并发下偶现的报错问题。修复子查询大于等于三项关联项时，关联匹配错乱的问题。修复连接被KILL时...
功能发布记录
Hologres V2.1版本（2023年10月）2023年10月正式发布Hologres V2.1版本，新增功能如下：引擎能力增强 针对单条以及多条 COUNT DISTINCT 在运行时自动性能优化，显著提升 COUNT DISTINCT 场景的查询效率，详情见 Count Distinct优化。...
PolarDB MySQL版8.0.2版本发布日志
8.0.2.2.22.1 类别 说明 发布时间 新增功能和性能优化 优化了将冷数据从OSS导回至InnoDB引擎的报错信息内容。支持在SQL Trace中配置跟踪慢查询的执行信息。2024-04-17 问题修复 修复Statement Outline和Concurrency Control等功能在执行...
PolarDB MySQL版8.0.1版本发布日志
8.0.1.1.42 类别 说明 发布时间 新增功能和性能优化 支持在 EXPLAIN 结果中查看Statement Outline的调用情况。支持在列存索引（IMCI）中使用prefix murmur hash bloom filter。新增谓词下推功能，包括谓词从HAVING下推到WHERE，以及从...
对接MaxCompute常见问题与诊断
报错原因：当前MaxCompute的表类型不是Cflie类型的表，Hologres暂不支持该类型的表。解决方法：在查询数据SQL前添加如下GUC。set hg_experimental_enable_access_odps_with_table_api=on;报错：ERROR:not an ORC file 查询外部表时报错：...
Blink和Flink常见问题及诊断
说明 连接复用模式适用大多数场景，但部分场景比如维表数量较多、没有启用异步也没有开启缓存时，会非常频繁的进行同步的点查，此时多表连接复用可能导致查询变慢，这种情况可以只为结果表配置连接复用。其他使用连接的场景 作业启动过程中...
错误码
有很多跨库查询（例如聚合统计类查询，未带分库条件的查询）同时执行，占用大量连接。解决方法建议如下：尽量使用框架访问数据库，如Spring JDBC、MyBatis等；按性能分析报告与DBA建议优化业务SQL语句；使用 PolarDB-X 读写分离将跨库查询...
列存索引中GroupJoin算子的实现
Q13 TPCH Q13，可以直接适用GroupJoin算子：select c_count,count(*)as custdist from(select c_custkey,count(o_orderkey)as c_count from customer left outer join orders on c_custkey=o_custkey and o_comment not like '%pending%...
关键缺陷通知
hg_insert_overwrite在执行过程中会创建一张临时表，目前未实现临时表清理机制，导致任务失败后，临时表未被清理。出现版本：2.0.19及以下版本。修复版本：2.0.30及以上版本。手动删除临时表 升级到最新版本 P2 通过Fixed Plan将数据写入...
列存索引如何实现高效数据过滤
该技术不仅适用于单表数据的查询，也适用于多表连接查询，并能大幅度提升PolarDB IMCI的查询性能。基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
2021年
2021-12 功能名称 功能描述 发布时间 发布地域 相关文档 支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+OSS的连接 支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目，代替原有的工单开通方式，时间从天级别...
执行计划和基本算子
LogicalView 的信息由三部分构成：tables：存储层MySQL对应的表名，以英文句号（.）分割，英文句号（.）之前是分库对应的编号，之后是表名及其编号，如[000-127]表示表名编号从000到127的所有表。shardCount：需访问的分表总数，该示例会...
配置SQL审核优化建议
DMS的安全规则中新接入了SQL审核优化建议，在SQLConsole或数据变更中，对提交的SQL语句进行规范审核并提出相关优化建议。可协助您在提交变更操作前审核、解决问题SQL，规避潜在问题SQL在变更到数据库后产生异常。前提条件 您的系统角色为 ...
JOIN优化和执行
通过如下Hint可以强制 PolarDB-X 使用Sort-Merge Join/*+TDDL:SORT_MERGE_JOIN(table_a,table_b)*/SELECT.JOIN顺序 在多表连接的场景中，优化器的一个很重要的任务是决定各个表之间的连接顺序，因为不同的连接顺序会影响中间结果集的大小，...
V5.3.x系列实例版本说明
优化性能 优化IN、NOT_IN子查询在某些场景下的性能。修复问题 修复ALTER SEQUENCE时默认行为为GROUP，而非AUTO_INCREMENT。修复Convertor error by Unsupported问题。修复 syntax error‘CHARSET=utf8 BLOCK_FORMAT=ENCRYPTED COMMENT 问题...
Delta连接器
EMR Trino提供了独立的Delta连接器，在E-MapReduce集群上支持了较为完整的数据湖特性并进行了特性扩展。背景信息 Delta Lake是DataBricks公司推出的一种数据湖方案，以数据为中心，围绕数据流走向推出了一系列功能特性，详情请参见 Delta ...
V5.1.x系列实例版本说明
慢SQL统计优化，增加连接获取时间和SQL执行时间，支持过滤条件分析。修复问题 修复PREPARE协议对于大文本对象解析的问题。修复多表JOIN连接条件推导无效的问题。V5.1.22-675 日期 2016.02.23 类别 说明 新增特性 建库输入库名后实时进行...
查询改写与下推
可下推计算主要包括：JOIN连接 过滤条件（如 WHERE 或 HAVING 中的条件）计算（如 COUNT、GROUP BY）排序（如 ORDER BY）去重（如 DISTINCT）函数计算（如 NOW()函数）子查询 说明 通过 explain optimizer+sql 可以看到查询改写的具体过程...
Leading Hint
优化器在生成多表Join顺序时，对于有连接条件的表，会尽量先尝试与其有连接关系的表Join，如果这其中没有可以执行路径产生，才会去尝试生成Cartesian Product。因此，在使用Leading Hint时，对于有Join条件的表，紧跟着的表应尽可能是与前...
Leading Hint
优化器在生成多表Join顺序时，对于有连接条件的表，会尽量先尝试与其有连接关系的表Join，如果这其中没有可以执行路径产生，才会去尝试生成Cartesian Product。因此，在使用Leading Hint时，对于有Join条件的表，紧跟着的表应尽可能是与前...
SQL基本语法
您可以根据需要，使用这些连接类型，将不同的表进行关联，以获取所需的数据。CROSS JOIN：交叉连接。它返回两个表的笛卡尔积，即每个表中的每一行与另一个表中的每一行进行组合。这种连接类型通常用于生成数据的排列组合。INNER JOIN：内...
查询性能优化指导
值为on：表示当前优化器为ORCA优化器-值为off：表示当前优化器为Legacy优化器 说明 AnalyticDB PostgreSQL 4.3版 的默认优化器为Legacy优化器，AnalyticDB PostgreSQL 6.0版 的默认优化器为ORCA优化器。实例级别设置请 提交工单 联系技术...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
STRAIGHT_JOIN
a STRAIGHT_JOIN b 语法执行时a表会做连接的左表，b表会做连接的右表，且a和b直接连接，优化器不会再做表连接顺序的优化。使用场景 适用于指定INNER JOIN执行时的左右表，且表大小明确，或 AnalyticDB MySQL 执行计划选择的INNER JOIN左右...
RDS PostgreSQL慢SQL问题
在相同业务场景下，架构设计和库表索引设计会影响查询性能，良好的设计可以提高查询性能，反之会出现很多慢SQL（执行时间很长的SQL语句）。本文介绍导致慢SQL的原因和解决方案。查看慢SQL 控制台的 参数设置 中，可以找到名为 log_min_...
DQL操作常见问题
原因二：SQL中JOIN条件的某一侧数据来自两张表，例如 table1.col1=concat(table1.col2,table2.col3)。解决措施 原因一的解决措施：修改SQL语句，关联条件需要为等值连接。说明 如必须使用非等值连接，可以增加mapjoin hint，详情请参见 ...
错误代码
有很多跨库查询（例如聚合统计类查询或未带分库条件的查询）同时执行，占用大量连接。解决方法建议如下：尽量使用框架访问数据库，如Spring JDBC、MyBatis等。按RDS性能分析报告与DBA建议优化业务SQL语句。使用 PolarDB-X 1.0 读写分离将跨...
- 产品推荐
- 这些文档可能帮助您