避免下盘
常见算子下盘场景及解决方法 查询内存太小导致的算子下盘 通过观察执行计划发现，算子需要的内存并不大，只有几K或几M，但还是发生了算子下盘。这种情况往往是查询能够使用的内存调小导致的，原因可能是受到了 resource group 或 resource ...
概述
什么是算子 算子是一种独立、可复用的逻辑表达，能够通过组合的方式实现更高维度的业务逻辑。行为 和 输入输出 是所有算子都有的属性，描述了算子可以做什么及相应的接口。对于不可解释算子（如图像识别），仅需定义行为和输入输出即可；...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
监控指标说明
场景 详情 作业中某些算子存在反压 判断反压最直接的方式是使用Flink UI提供的反压检查功能，而不是通过指标判断。反压的存在会导致Source端数据发送至下游算子的速率下降，您可能会观察到sourceIdleTime周期性上升，...
PolarDB PostgreSQL版架构介绍
Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能：加速比 TPC-H性能：和传统MPP数仓对比...
PolarDB PostgreSQL版架构介绍
存储计算分离架构详解 Shared-Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版（兼容Oracle）HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-...
Task快速重启配置
若作业中有算子实现了prepareSnapshotPreBarrier方法，或在运行中会发送与Checkpoint相关的信息，则不可使用AT_LEAST_ONCE语义。注意事项 语义 注意事项 APPROXIMATE 当某个Task进行Failover时，其上游Task将无法继续向该Task发送数据，...
Postgres CDC（公测中）
restart-strategy.fixed-delay.attempts 固定延迟重启策略下，尝试重启的最大次数。无。语法结构 CREATE TABLE postgrescdc_source(shipment_id INT,order_id INT,origin STRING,destination STRING,is_arrived BOOLEAN)WITH('connector'='...
ePQ支持查看与分析执行计划
算子级别的统计信息如下：算子执行时间：取执行该算子的所有进程的最长执行时间。算子扫描总行数：取执行该算子的所有进程的扫描行数累加和。算子执行次数（循环）：取执行该算子的所有进程的循环次数累加和。算子的资源使用信息：取执行该...
指标说明
process_cpu_seconds_total 该指标计算使用到 utime（Go进程执行在用户态模式下的滴答数）和 stime（Go进程执行在内核态时候的滴答数，例如系统调用时），他们的单位jiffies，jiffy 描述了两次系统定时器中断之间的滴答时间。process_cpu_...
指标说明
process_cpu_seconds_total 该指标计算使用到 utime（Go进程执行在用户态模式下的滴答数）和 stime（Go进程执行在内核态时候的滴答数，例如系统调用时），他们的单位jiffies，jiffy 描述了两次系统定时器中断之间的滴答时间。process_cpu_...
查询优化器介绍
算子下推 算子下推是非常关键的一步，PolarDB-X 1.0 内置了如下算子的下推优化规则：优化规则 描述 谓词下推或列裁剪 将Filter及Project算子下推至存储层MySQL执行，过滤掉不需要的行和列。JOIN Clustering 将JOIN按照拆分方式及拆分键的...
使用Prometheus监控E-MapReduce
ps-ef|grep taihao_exporter 执行以下命令，修改taihao_exporter.yaml配置prom_sink_enable=true，并重启服务。sed-i 's/prom_sink_enable:\s*false/prom_sink_enable:true/g'/usr/local/taihao_exporter/taihao_exporter.yaml service ...
使用Prometheus监控E-MapReduce
ps-ef|grep taihao_exporter 执行以下命令，修改taihao_exporter.yaml配置prom_sink_enable=true，并重启服务。sed-i 's/prom_sink_enable:\s*false/prom_sink_enable:true/g'/usr/local/taihao_exporter/taihao_exporter.yaml service ...
关键缺陷通知
2024年缺陷 2024年04月 等级 报错/问题描述 缺陷原因 出现/修复版本 规避建议 P2 使用datediff函数按照指定的单位计算两个时间差值时，偶发返回结果与实际结果相差1。该函数计算存在逻辑缺陷。出现版本：2.0.31版本。修复版本：2.1.27及...
Explain和Explain Analyze
执行计划中会反映出SQL的统计信息、执行算子、算子耗时等信息，一个好的执行计划，能够用最少的资源更快的返回结果。因此对于日常开发来说，执行计划至关重要，它可以反应出SQL的问题，从而去针对性优化。Hologres兼容Postgres，可以根据...
PolarDB并行查询
以下是针对t1 NLJ t2这个算子，做枚举过程的一个简要示例：在整体枚举完成后，计划空间中会产生一系列带有数据分发 Exchange Enforcer 的物理算子树，基于代价选择最优树即可，然后以Enforcer作为子计划的切分点，可以构建出一系列的执行...
产品优势
不支持 告警规则 针对JVM、主机、接口服务情况等指标类型，预置了50种以上的告警规则，通过白屏化方式配置，除基本算子外，支持同环比，支持智能阈值配置能力。仅支持配置文件配置，仅支持简单的大于、小于、等于算子。告警通知 并集成ARMS...
功能与优势
SQL引擎在兼容开源Flink语法的同时增加了一系列优化，包括但不限于算子的状态结构优化、计算层延迟物化、Codegen增强，以及针对Join场景如维表Cache增强、数据倾斜，流Join Minibatch优化、精细化的状态设置等，实现CPU、内存利用率的提升...
2022-09-19版本
其他的优化包含在性能优化上，我们将对Flink SQL中双流Join算子支持自动推导开启KV分离优化，可以显著提升双流Join类型作业的性能，无需用户额外配置。同时我们对Hive Catalog支持的Hive版本范围也做了扩展，支持了2.1.0~2.3.9，3.1.0~3.1....
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
配置自动调优
智能调优会监控消费源头数据的延迟变化情况、TaskManager（TM）CPU实际使用率和各个算子处理数据能力来调整作业的并发度。详情如下：作业延迟Delay指标正常（不超过60s），不修改当前作业并发。作业延迟Delay指标超过默认阈值60s，分以下两...
Query Profiling Statistics
说明 该字段并非算子执行开始结束执行时间的间隔（可能包含下层算子执行消耗的时间），而是该算子本身执行所消耗的时间。diskreadsize int8 算子从磁盘读取数据量。diskreadtime float8 算子从磁盘读取数据消耗的时间，单位为秒（s）。...
监控指标常见问题
如果存在PQE SQL，则需要优化SQL中走PQE引擎的算子，详情请参见 优化内部表的性能。查询最近3小时走PQE的query select*from hologres.hg_query_log where query_start>current_timestamp-interval'3 h' and 'PQE'=ANY(engine_type)order by...
PolarDB MySQL版8.0.2版本发布日志
修复了部分场景下，GroupJoin算子占用过多内存导致查询失败的问题。修复了部分带有OR谓词的查询因查询计划无法绑定正确的列而无法执行的问题。修复了在unsigned列与signed列进行Join连接时，优化器不能准确估算Join选择率的问题。修复了...
查询计划概述
时序引擎特有扩展算子 TSDBDataScanRel算子 面向Lindorm时序引擎实现最基础的数据扫描算子，由逻辑算子LogicalTableScan转换而来，表示在某个具体的指标（metric）上执行的Scan操作。该算子在展示时会包含以下内容：filter：扫描时同时自带...
查询诊断
默认情况下，计划树中算子卡片下方线条代表该算子执行耗时在所有算子中的占比，页面右上的列表也会展示算子执行耗时占比，并按耗时占比排序。您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络...
Hologres管控台的监控指标
本文为您介绍Hologres各监控指标的含义。通过了解这些监控指标，您可以根据业务需求选择适合...实例重启或者升级期间，同步延迟可能增加到分钟级别，并会自动恢复。常见问题诊断 文档汇总了使用监控指标中的常见问题，可以帮助业务快速诊断、...
DescribeSQLPlan-查询基础信息和计划信息
5984 ScanTimeMax long 带数据扫描算子的阶段在各个存储节点读取数据耗时的最大值，单位为毫秒（ms）。0 InputSizeMax long 阶段在各个计算节点的输入数据量的最大值，单位为 Byte。173 StageId integer 阶段 ID。1 ScanSizeMax long 带...
任务管理
固定延迟（仅适用于 second_delay 时间类型）填写固定延迟，单位为秒。范围为1秒~60秒。例如5表示延迟5秒触发调度。调度时间（仅适用于 onetime 时间类型）填写任务指定的执行时间。例如：2023-7-13 00:00:00。unix cron表达式（仅适用于 ...
任务管理
固定延迟（仅适用于 second_delay 时间类型）填写固定延迟，单位为秒。范围为1秒~60秒。例如5表示延迟5秒触发调度。调度时间（仅适用于 onetime 时间类型）填写任务指定的执行时间。例如：2023-7-13 00:00:00。unix cron表达式（仅适用于 ...
任务管理
固定延迟（仅适用于 second_delay 时间类型）填写固定延迟，单位为秒。范围为1秒~60秒。例如5表示延迟5秒触发调度。调度时间（仅适用于 onetime 时间类型）填写任务指定的执行时间。例如：2023-7-13 00:00:00。unix cron表达式（仅适用于 ...
使用OSS加速器
性能表现 下载响应延迟统计 通过OSS以及OSS加速器多次下载10 MB的Object进行测试，统计其响应延迟（单位ms）分位数，结果显示降低10倍延迟。以下图表中的P50表示50%的请求符合当前统计的延迟情况，P999表示99.9%的请求符合当前统计的延迟...
常见问题
您可以单击实例ID，在实例 任务管理 的 子任务详情 中查看延迟信息。为什么多表归并任务报错DTS-071001？可能是在多表归并任务运行时，在源库进行了Online DDL操作，对源库的表结构等进行了修改，且未手动在目标库进行相应的修改。在旧版...
如何将任务调度应用优雅下线
当应用在发布重启时，进程需暂时下线。如果直接关闭应用，正在进行中的定时任务将被中断，可能导致数据不完整或其他问题。为避免该情况，SchedulerX实现了定时任务的优雅下线功能，在关闭应用前，需等待当前正在进行的任务执行完成后，然后...
FE参数配置
该配置目前主要用来解决PUBLISH_VERSION代理任务的重复发送问题,目前该配置的默认值是5000，是个实验值，由于把代理任务提交到代理任务队列和提交到BE存在一定的时间延迟，所以调大该配置的值可以有效解决代理任务的重复发送问题，但同时会...
查看数据迁移项目的详情
增量同步性能 页签为您展示以下内容：延迟：源端增量变更被同步至目标端的滞后时间，单位为秒。迁移流量：源端增量变更数据被同步到目标端的流量吞吐，单位为 KB/s。平均执行时间：每条 SQL 执行时间的均值，单位为 ms。平均提交时间：事务...
创建压测场景
消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。消息 消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key...
QPS限制
域名管理QPS限制 重要 请注意识别下文所有表格中的QPS限制单位，默认为次/秒，其他情况均已加上对应的单位，如次/分钟。API 单用户QPS限制 添加直播域名 30 添加主播流域名和子播流域名映射 1000次/分钟 删除播流域名的映射关系 1000次/...
- 产品推荐
- 这些文档可能帮助您