Hash Clustering
对于普通表，这个通常意味着全表扫描操作，如果表非常大的情况下，资源消耗量是非常大的。但是因为我们已经对 id 做Hash Shuffle，并且对 id 做排序，查询可以极大简化：通过查询值 12345 找到对应的Hash Bucket，这时候我们只需要在1个...
使用限制
Summary表查询 N/A 操作限制 Summary表目前不支持全表扫描，查询时必须包括PK等值条件。子表查询 N/A 操作限制 子表内部表示为一个结构化类型(MultiSet)的字段，该字段不支持返回。查询子表时避免使用SELECT*操作。DATE/RANGE索引查询 N/A ...
算子
SelectFields 表扫描节点扫描的字段。DataBase 扫描的数据所属数据库名。FilterPushDown 过滤条件是否下推到存储节点。说明 仅当当前Stage中存在过滤条件下推时才会展示该属性。PushedDownFilter 下推到存储节点的过滤条件。说明 仅当当前...
插入或覆写数据（INSERT INTO|INSERT OVERWRITE）
开启全表扫描，仅此Session有效。执行select语句查看表sale_detail中的数据。set odps.sql.allow.fullscan=true;select*from sale_detail;返回结果。shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|s1|c1|100.1|2013|...
JOIN优化和执行
例如上面的例子中，partsupp表和supplier表均为全表扫描，数据量较大，适合使用HashJoin。由于Hash Join的内表需要用于构造内存中的哈希表，内表的数据量一般小于外表。通常优化器可以自动选择出最优的JOIN顺序。如果需要手动控制，也可以...
ANALYZE和AUTO ANALYZE
分区表有扫描行数限制，采样数据时默认扫描的最大记录数是2 24 条（16,777,216条），即若所有分区子表的记录数总和超过16,777,216条，会做一定的分区裁剪，只对其中若干分区（总和不超过16,777,216条）进行采样。说明 分区列统计信息总是全...
Explain和Explain Analyze
但是Local Gather节点下的dop都代表扫描的文件数。time：表示open和get_next两个阶段的实际执行时间（单位：毫秒），Hologres中，每个算子都会有一个open和get next接口。例如time=2427/2424/2423ms，代表time=max/avg/min...
2023年
修复执行引擎处理分区表扫描的Dynamic Index Scan算子，在执行层内存泄漏的缺陷。修复ORCA优化器复制表Semi JOIN，在部分场景下结果错误的缺陷。修复向量数据库扩容过程中，构建ANN索引的表产生死锁的缺陷。修复增量排序Incremental Sort...
写入与查询
为什么执行计划里的表扫描行数累加不等于查询的总扫描行数？为什么没有设置主键（primary key）的表，用INSERT OVERWRITE插入，会出现重复数据？为什么使用查询语句SELECT*FROM TABLE GROUP BY KEY后，报错“Column 'XXX' not in GROUP BY ...
JOIN与子查询的优化和执行
例如上面的例子中，partsupp表和supplier表均为全表扫描，数据量较大，适合使用HashJoin。由于Hash Join的内表需要用于构造内存中的哈希表，内表的数据量一般小于外表。通常优化器可以自动选择出最优的JOIN顺序。如果需要手动控制，通过...
PolarDB PostgreSQL版架构介绍
例如，对于一个表在 PolarDB PostgreSQL版 中既可以全量的扫描，也可以分区域扫描，这个是和传统MPP的本质区别。如下图所示，上面灰色部分是 PolarDB PostgreSQL版 内核与GPORCA优化器的适配部分。下半部分是ORCA内核，灰色模块是在ORCA...
Hologres源表
使用说明 Hologres源表默认使用批模式读取数据，即对全表数据仅扫描一次。扫描结束，消费即结束，扫描结束后输入的数据将不会被Hologres源表读取。如果您需要使用实时消费Hologres的数据，请参见 订阅Hologres Binlog。使用限制 Hologres...
SQL Pattern
表名 SQL Pattern扫描的数据库表。创建时间 在查询时间范围内，Pattern相关SQL的最早提交时间。执行次数 在查询时间范围内，Pattern相关SQL的执行次数。如果实例出现资源水位突增的情况，用户可以通过执行次数排序，查看实例运行异常时段...
优化内部表的性能
使用Runtime Filter 从V2.0版本开始，Hologres开始支持Runtime Filter，通常应用在多表Join（至少2张表），尤其是大表Join小表的场景中，无需手动设置，优化器和执行引擎会在查询时自动优化Join过程的过滤行为，使得扫描更少的数据量，从而...
调优集群性能
当非分区表较大时，也更容易被写入、更新或者删除，也更容易触发全表Build。大量的读写请求导致存储节点CPU持续较高，进而导致Build执行过慢。节点掉线个数增多 当 云原生数据仓库 AnalyticDB MySQL 版 集群内部的节点无法提供服务时，会...
PolarDB MySQL版8.0.1版本发布日志
修复在CTE（Common Table Expression）中多处引用基于TempTable引擎的临时表，并且在临时表上使用索引扫描时，可能导致节点崩溃的问题。修复列存索引在处理超长字符串类型时出现的内存越界问题。修复在使用列存索引功能时，同时打开预读...
X-Engine简介
在内存中即为一个排序的内存数据结构（Skiplist、B-Tree等），在持久化存储也作为一个只读的全排序持久化存储结构。普通的存储系统若要支持事务处理，需要加入一个时间维度，为每个事务构造出一个不受并发干扰的独立视域。例如存储引擎会对...
SQL 诊断概述
TopSQL 分析还提供了一些常用的快捷筛选，例如 全表扫描、多分区扫描 等。TopSQL 支持通过点击展开查看最后一次错误以及所有发生过的错误信息。单击列表右上方的 查看优化建议，您将会跳转到优化中心页面查看优化建议。单击列表右上方的 ...
Query Profile介绍
SortType 查询结果排序方式：全排序或者排序Top N个结果。MergingTime 数据合并耗时。SortingTime 数据排序耗时。TableFunction Operator 指标 说明 TableFunctionExecTime Table Function计算耗时。TableFunctionExecCount Table Function...
列存索引中TopK算子的实现
PolarDB MySQL版 IMCI最初也采用了上述方式来实现分页查询，并在内存不足以缓存大小为K的堆时，采用了全表排序后取相应的位置记录的方式，所以在深翻页时的性能表现也不是非常理想。为此，在分析了深翻页场景的特点和传统方案存在的问题，...
TRUNCATE
将表清空。语法 TRUNCATE TABLE name[DROP STORAGE]...在这些情况下，检查有效性需要执行表扫描，而关键在于不会执行表扫描。TRUNCATE 不会运行表可能存在的任何用户定义的 ON DELETE 触发器。示例 截断表 bigtable：TRUNCATE TABLE bigtable;
PolarDB PostgreSQL版架构介绍
例如，对于一个表在 PolarDB PostgreSQL版（兼容Oracle）中既可以全量的扫描，也可以分区域扫描，这个是和传统MPP的本质区别。如下图所示，上面灰色部分是 PolarDB PostgreSQL版（兼容Oracle）内核与GPORCA优化器的适配部分。下半部分是...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
高性能Flink SQL优化技巧
增加元数据（或者统计信息）：一些统计数据对于查询来说是动态的，例如已扫描的表索引、一些shuffle keys的倾斜信息等，从planner获得的计划元数据可能不准确，此时可以使用提示来配置它们。动态表配置选项：动态表选项允许用户动态地指定...
并发导出数据
背景 多元索引中提供了Search接口，Search接口支持全功能集，包括所有的查询功能以及排序、统计聚合等分析能力。使用Search接口查询数据的结果会按照指定的顺序返回。但是在有些场景中，例如对接计算系统Spark、Presto等或者一些圈选场景，...
MongoDB实例的CPU使用率高问题
导致查询扫描行数过多的场景有以下几个方面：全表扫描 当您在 system.profile 集合或者运⾏⽇志⽂件发现COLLSCAN关键字时，就表示该查询进行了全表扫描。针对这类查询，您可以通过添加索引的方法优化，如果当前已不能使用该方法，则在业务...
SQL 诊断概述
TopSQL 分析提供了一些常用的快捷筛选，例如 全表扫描、多分区扫描 等，帮助用户快速找到有异常或者需要优化的SQL。TopSQL 支持通过点击展开查看最后一次错误以及所有发生过的错误信息。单击列表右上方的 查看优化建议，您将会跳转到优化...
连接 Navicat 客户端
数据访问代理不仅支持应用程序（如 JDBC）与 MySQL Client ...但需要注意的是，查询时，请勿在数据量很大的时候不加任何筛选条件地进行全表扫描，否则可能会给数据访问代理后台和物理库造成较大压力，引起业务系统查询耗时增长，甚至崩溃。
DescribeAnomalySQLList-查询可疑 SQL 列表
tester 示例 正常返回示例 JSON 格式 {"TotalCount":2,"RequestId":"473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E","AnomalySQLList":[{"Key":1,"DiagnosisRule":"全表扫描有索引未用","SQLText":"SELECT*FROM*WHERE*=?AND*=?ORDER BY*ASC",...
计算下推
多元索引提供了条件过滤、聚合、排序等功能，在创建多元索引后，使用SQL查询时，系统能够充分利用多元索引的计算能力，将部分SQL计算任务下推到多元索引执行，避免全表扫描，提高计算效率。前提条件 已创建多元索引。具体操作，请参见 创建...
Joining Relations Hints
嵌套循环联接：对于其他联接表中的每一行，扫描一次表。合并排序联接：在联接开始之前，每个表按联接属性排序。然后并行扫描两个表，匹配的行将合并，形成联接行。哈希联接：扫描表并使用其联接属性作为哈希键将其联接属性加载到哈希表中。...
Joining Relations Hints
嵌套循环联接：对于其他联接表中的每一行，扫描一次表。合并排序联接：在联接开始之前，每个表按联接属性排序。然后并行扫描两个表，匹配的行将合并，形成联接行。哈希联接：扫描表并使用其联接属性作为哈希键将其联接属性加载到哈希表中。...
配额与限制
说明 如果未指定，则读取数据时将全表扫描（低效查询），且该扫描请求可能会被系统默认拒绝。如果您想要强制执行低效查询，请参见 低效查询。使用 ORDER BY 语句排序时，必须添加limit条件。使用 ORDER BY 语句排序时，LIMIT不能大于10000...
慢日志
其中查询耗时长是最常见的慢日志，原因一般都是未合理设置索引导致查询对全表数据进行扫描导致，后文统称这类命令为慢查询。慢查询是影响数据库性能的第一原因，在出现慢日志后您需要尽快判断是否为慢查询，并根据慢日志详情分析查询条件...
常见问题
该查询尝试在宽表引擎上执行全表扫描，被宽表引擎视作是低效查询，因此被拒绝。解决方案：在查询语句中增加/*+_l_allow_filtering_*/，表示跳过该检查，强制执行低效查询。例如 SELECT/*+_l_allow_filtering_*/*FROM dt WHERE nonPK=100;...
RDS MySQL内存使用问题
RDS MySQL内存高常见原因 通常InnoDB Buffer Pool的内存占用是最大的，Buffer Pool的内存占用上限受到Buffer Pool配置参数的限制，但是还有很多内存是在请求执行中动态分配和调整的，例如内存临时表消耗的内存、prefetch cache、table ...
创建指标质量规则
注意：全表扫描将会消耗较大的资源，并且部分不支持全表扫描，建议配置分区表达式以避免全表扫描。校验范围预算：默认为业务日期当天。校验范围表达式 为可输入的下拉选择框，支持直接输入需要校验的范围，如 ds='${yyyyMMdd}'；也可以选择...
使用执行计划分析查询
Stage层执行计划树中主要包含如下信息：基本信息 图中的每个矩形框代表一个Stage，框里会包含Stage ID、数据输出类型、耗时或内存（选择 按内存 排序时展示）等信息。说明 当Stage层执行计划树上出现红色警示号，表示该Stage被诊断出存在可...
查看识别规则运行记录
区域 描述 ① 筛选及搜索区 您可根据任务的名称关键字进行搜索，也可根据任务类型、任务状态、表扫描结果进行筛选。② 列表区 为您展示任务的名称、任务分类、任务状态、成功/失败表数、开始结束时间信息。同时，您可对运行记录执行终止、...
- 产品推荐
- 这些文档可能帮助您