被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
查询改写与下推
下推是查询改写的一项重要优化，利用 PolarDB-X 1.0 的拆分信息来优化执行计划，使得算子尽量下推以达到提前过滤数据、减少网络传输、并行计算等目的。背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
Explain和Explain Analyze
Explain Analyze：代表SQL真实的运行计划，相比Explain会包含更多的实际运行信息，能 准确 的反映出SQL的执行算子和算子耗时，可以根据算子耗时去做针对性的SQL优化。说明 从Hologres V1.3.4x版本开始，支持通过Explain和Explain Analyze...
查询执行器介绍
所有算子都定义了 open()、next()等接口，算子根据执行计划组合成一棵算子树，上层算子通过调用下层算子的 next()接口的取出结果，完成该算子的计算。最终顶层算子产生用户需要的结果并返回给客户端。下面的例子中，假设 HashJoin 算子已经...
PolarDB并行查询
以下是针对t1 NLJ t2这个算子，做枚举过程的一个简要示例：在整体枚举完成后，计划空间中会产生一系列带有数据分发 Exchange Enforcer 的物理算子树，基于代价选择最优树即可，然后以Enforcer作为子计划的切分点，可以构建出一系列的执行...
2021年
无 2021年9月 算子级内存限制 通过算子级内存限制，降低OOM风险，提升PolarDB稳定性。无 2021年9月 时空数据库（v4.0）类别 名称 描述 相关文档 发布时间 优化 栅格表面计算函数 增强栅格表面计算函数返回Raster对象取代像素矩阵。ST_...
GetRuleDetail-获取规则的明细信息
gt DelayTime integer 抢话检查算子中，延时判定抢话情况，比如，设置为 1000，则表示同时一方开始说话 1000 毫秒后，再出现对话重叠才算作抢话，单位：毫秒 1000 KeywordMatchSize integer 关键词检查算子中，匹配关键字的数量，不同的...
监控指标说明
场景 详情 作业中某些算子存在反压 判断反压最直接的方式是使用Flink UI提供的反压检查功能，而不是通过指标判断。反压的存在会导致Source端数据发送至下游算子的速率下降，您可能会观察到sourceIdleTime周期性上升，...
执行引擎
向量化和列处理 算子内部处理数据时最大可能地使用向量化执行，与存储引擎深度集成，通过灵活的执行模型，充分利用各种索引，最大化地延迟向量物化和延迟计算，避免不必要的读数据和计算。自适应增量处理 对常见实时数据应用查询模式进行自...
PolarDB PostgreSQL版架构介绍
Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能：加速比 TPC-H性能：和传统MPP数仓对比...
地图容器（v3.x版本）
地图容器是3D平面地图（v3.x版本）组件中用于承载地图本身和各子组件的容器，支持添加标签层、单点柱状层、呼吸气泡层等子组件，支持配置地图的通用、自然、地形和装饰样式，能够多角度、多形式地渲染平面地图的3D效果。本文介绍3D平面地图...
Flink指标
Operator In/Out Watermark flink_taskmanager_job_task_operator_currentInputWatermark 算子收到的最后一个水印。单位：ms。flink_taskmanager_job_task_operator_currentOutputWatermark 算子发出的最后一个水印。单位：ms。...
DescribeSQLPlan-查询基础信息和计划信息
5984 ScanTimeMax long 带数据扫描算子的阶段在各个存储节点读取数据耗时的最大值，单位为毫秒（ms）。0 InputSizeMax long 阶段在各个计算节点的输入数据量的最大值，单位为 Byte。173 StageId integer 阶段 ID。1 ScanSizeMax long 带...
查询一个DTS任务详情
a742-ac23f442*\",\"source\":{\"cell\":\"8b261182-bfab-4803-ad8e-6bb08e3e*\",\"port\":\"out1\"},\"target\":{\"cell\":\"b36770df-f48c-4d6b-9644-54c5e924*\",\"port\":\"in1\"},\"zIndex\":7 }]} ETL任务的算子信息。说明 当任务为...
查询诊断
默认情况下，计划树中算子卡片下方线条代表该算子执行耗时在所有算子中的占比，页面右上的列表也会展示算子执行耗时占比，并按耗时占比排序。您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络...
使用OSS加速器
性能表现 下载响应延迟统计 通过OSS以及OSS加速器多次下载10 MB的Object进行测试，统计其响应延迟（单位ms）分位数，结果显示降低10倍延迟。以下图表中的P50表示50%的请求符合当前统计的延迟情况，P999表示99.9%的请求符合当前统计的延迟...
创建压测场景
消费者可以根据Tag实现对不同子主题的不同消费逻辑，实现更好的扩展性。消息 消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。RocketMQ中每个消息拥有唯一的Message ID，且可以携带具有业务标识的Key...
什么是Deepytorch Inference（推理加速）
Pytorch Custom Ops：其他第三方PyTorch算子，该算子不会被优化，而是保留在框架层中。Deepytorch Inference推理加速 Deepytorch Inference组件 Torchscript Graph Optimization PipeLines：Torchscript上的图形优化工具以及算子融合技术。...
配置作业资源
如果您需要对单独的算子设置资源，需要配置对应的运行参数后让每个算子有自己独立的SLOT，这样就可以直接在对应的SLOT上设置算子的资源。具体的算子资源设置步骤如下：在作业 部署详情 页签 运行参数配置 区域的 其他配置 中添加如下参数...
Partial Result Cache（PTRC）
PTRC 概念 PTRC是针对一个查询内部算子级别粒度的结果集缓存特性，比如缓存Correlated subquery或NestLoopJoin等算子执行的临时结果，后续再次执行该算子时，如果结果集缓存中已存在算子的计算结果，则无需再重复执行该算子。PTRC中的...
DescribeDiagnosisTasks-Stage的子任务执行详情
获取指定查询ID和Stage ID的分布式子任务执行详情信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。...图计算 Spark的GraphX支持图计算的库，支持丰富的图计算的算子，包括属性算子、结构算子、Join算子和邻居聚合等。详情请参见 GraphX Programming Guide。
ANALYZE分析工具
统计内容与形式 兼容现有 EXPLAIN ANALYZE 的功能和语法，输出每个算子的执行状态，具体包括以下内容：算子执行时间，目前取该算子下所有PX Worker的最大执行时间。算子扫描的总行数，目前取该算子下所有PX Worker所扫描行数的累加和。算子...
监控告警与日志问题
将source算子和sink算子拆分成独立的算子，分别与其他的算子进行连接，形成新的拓扑结构，在拓扑图中即可看到数据的流向和流量。您需要在 作业运维 页面，单击目标作业名称，在 部署详情 页签 运行参数配置 区域的 其他配置 中添加分割算子...
Hologres管控台的监控指标
只有在子实例绑定了主实例之后，该指标会显示数据（0ms），当主实例有数据写入时，子实例的同步延迟会出现数据波动。一般情况下，主从实例的同步延迟毫秒级，当实例偶尔出现延迟抖动时，一般情况为主实例在做DDL等元数据修改的操作，可忽略...
配置自动调优
智能调优会监控消费源头数据的延迟变化情况、TaskManager（TM）CPU实际使用率和各个算子处理数据能力来调整作业的并发度。详情如下：作业延迟Delay指标正常（不超过60s），不修改当前作业并发。作业延迟Delay指标超过默认阈值60s，分以下两...
调优集群性能
消耗内存较高的SQL一般包含Aggregation算子、TopN算子、Window算子以及Join算子：Aggregation算子 Aggregation算子消耗内存较高主要是因为 云原生数据仓库 AnalyticDB MySQL 版 在进行数据的分组时，会把分组信息暂存在内存中，如果分组...
技术架构
计算节点与存储节点之间通过理解数据库语义的智能互联协议将filter和projection等算子从计算层下推到存储层执行。为了保证事务和查询语句的低延迟，同时降低计算节点之间状态同步的延迟，计算节点和存储节点之间使用25Gb高速RDMA网络互联，...
应用场景
该方案优势如下：全托管免运维 弹性扩展能力 开放数据湖架构 一站式的数据开发平台 数据查询与分析场景 在传统数据平台下，数据仓库工程师和数据分析师通常面临两个不同的环境，甚至使用不同的引擎和语法，导致数据指标和算子行为存在差异...
Join优化
物理算子支持 SelectDB支持如下两种物理Join算子，用于实现单机引擎中数据进行Join的处理过程。Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for...
HBASE指标
Request Latency 参数 指标 描述 Scan Min Time hbase_regionserver_server_ScanTime_min Scan最小延迟。单位：毫秒。Scan Max Time hbase_regionserver_server_ScanTime_max Scan最大延迟。单位：毫秒。Scan Mean Time hbase_regionserver...
基础概念
Proxy/Searcher proxy：iGraph引擎的计算层，负责接受用户请求并处理成具体的执行计划，然后转发给下层searcher，同时支持合并、分组等复杂的算子。searcher：iGraph引擎的存储层，负责加载和管理各种索引并服务上层proxy转发的查询请求，...
I/O统计视图和I/O延迟分布视图
您可以通过polar_stat_io_info视图和polar_stat_io_latency视图查看I/O统计信息和I/O延迟分布信息。I/O统计视图 通过polar_stat_io_info视图可以查看I/O统计视图。列名 类型 说明 filetype text 文件类型，例如WAL、DATA、LOG等。fileloc ...
引擎指标
instanceId shard_id ip index 指标聚合：avg()采样聚合：avg()Indexing Service 指标 指标含义 说明 Tags 聚合算子 elasticsearch-server.cube.follower_indices_throughput_in_bytes Indexing Service写入流量 通过时序写入到...
- 产品推荐
- 这些文档可能帮助您