监控指标常见问题
如果存在PQE SQL，则需要优化SQL中走PQE引擎的算子，详情请参见 优化内部表的性能。查询最近3小时走PQE的query select*from hologres.hg_query_log where query_start>current_timestamp-interval'3 h' and 'PQE'=ANY(engine_type)order by...
计费项
算子与计费项的对应关系如下：算子 计费项 收费方 OSSMeta算子 GetRequest OSS MIME算子 不收费 无 FaceDetection算子 ImageFace 注*IMM LabelClassification算子（图片）ImageClassification 注*IMM LabelClassification算子（视频）...
查询执行器介绍
但是对于较复杂的SQL，往往无法将SQL中的算子全部下推，这时候就需要 PolarDB-X 1.0 执行器执行无法下推的计算。例如，对于如下查询SQL：SELECT l_orderkey,sum(l_extendedprice*(1-l_discount))AS revenue FROM CUSTOMER,ORDERS,LINEITEM ...
避免下盘
由于磁盘操作相对内存访问缓慢，避免查询执行过程中的算子下盘有助于提高查询效率。算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认...
概述
本文简要介绍数据探索中算子的相关概念，要了解算子的详细信息，请访问对应算子章节。什么是算子 算子是一种独立、可复用的逻辑表达，能够通过组合的方式实现更高维度的业务逻辑。行为 和 输入输出 是所有算子都有的属性，描述了算子可以做...
计算下推
多元索引包含b,c,d，通过多元索引读取数据，支持算子下推*/支持下推的算子 算子类型 下推算子 下推限制 逻辑运算符 AND、OR 不支持NOT算子下推。关系运算符=、!BETWEEN.AND.只有数据列和常数的比较才支持算子下推，不支持数据...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
功能简介
算子管理：展示并管理用户添加的脚本算子，已添加的算子可在模型画布中进行托拉拽使用。算子配置：展示并管理用户上传的资源文件及函数信息，包含了资源管理。模型中心 模型中心提供业务模型的可视化组装、编排能力，提供拖拽式智能算子的...
0040-00000203
问题描述 图片处理算子参数格式非法。问题原因 在单个算子参数的图片处理算子中传入多个参数，参数个数不符合要求。...单个算子参数的算子如下：auto-orient rotate bright sharpen interlace 相关文档 自适应方向 旋转 亮度 锐化 渐进显示
查询计划概述
因此，理解查询计划是进行SQL语句优化的前提条件，同时了解查询计划中的算子是理解EXPLAIN命令的关键。查询计划深度 Lindorm SQL提供了 EXPLAIN 语句，方便查看一条查询语句在SQL引擎中生成的查询计划。共包含三种计划深度：逻辑计划、物理...
GraphFlowNode
1 Lambda string 普通算子逻辑 a CheckType integer 质检维度 1 Triggers array 关注的算子 string 算子 a BranchJudge boolean 是否开启分支判断 true CheckMoreSize integer 最多检测 N 句 1 Conditions array 算子信息 ...
Kafka实时入湖
filter算子类似SQL的where语句，对前面的算子输出的字段进行过滤。数据预处理示例 您可以参考以下示例编写自己的预处理算子。提取Kafka消息体与时间戳字段。通过定义一个map算子实现，表达式参考如下。cast(value as string)as content,...
流程简介
接入算子 配置模型编排中使用到的算子。系统支持的脚本算子类型有：SQL。创建模型 模型为数据探索的核心部分，将数据及算子编排成模型，并对模型列表进行统一管理，包含模型版本管理、模型任务管理、模型复制、模型归档等操作。配置调度...
0040-00000238
问题描述 老版本图片处理模糊算子的参数形式非法。问题原因 老版本图片处理模糊算子的参数形式不符合要求。问题示例 GET/example_image@3-bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT...
Join
Regular Join 当前不支持Regular Join相关算子的状态迁移，因此任何Join相关的修改，状态都不兼容。修改包括Join类型、Join condition和Join输入的Schema等。Interval Join 当前不支持Interval Join相关算子的状态迁移，因此任何Join相关的...
模型画布简介
说明 系统算子是指将业务人员经常使用的计算逻辑进行组件封装，作为模型中心预置的算子。系统算子使用具体操作，请参见 算子手册。② 工具栏 画布上方按钮依次为撤销、重做、删除、缩小、放大、复制、删除、框选模式、自适应、垂直布局、...
建一个包含自定义算子的任务
当平台内置的算子无法解决您的数据处理需求时，您需要自己开发一个算子（如天气识别算子）并打包成像，上传到 自定义算子管理 模块，点击上线后，该算子将会在任务配置的算子列表中出现，即可参与任务的编排。大致可分为以下两个步骤：上传...
0040-00000235
问题描述 老版本图片处理内切圆算子的参数格式非法。问题原因 老版本图片处理内切圆算子的参数不符合格式要求。问题示例 GET/example_image@ci HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 ...
Gremlin算子差异
bulk iGraph额外支持的算子 distinct iGraph自研算子 fields iGraph自研算子 fold 不支持接收参数 has 不支持has(label,key,value),has(P,value)->has(P,T)等部分接口 indexQuery iGraph自研算子 limit 不支持指定global/local math 不支持...
查看代码结构
经典结构主要用于查看SQL代码中涉及的SQL算子，及各算子之间的关联关系。鼠标悬停至对应算子的图标上，即可查看该算子的含义。常用的SQL算子如下。源表：查询的目标表。筛选：筛选目标表中需要查询的具体分区。中间表（查询视图）：存放...
0040-00000234
问题描述 老版本图片处理内切圆算子的参数type取值非法。问题原因 老版本图片处理内切圆算子的参数type不符合取值范围要求。问题示例 GET/example_image@100-10ci HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 ...
0040-00000209
问题描述 图片处理格式裁剪算子重心参数格式非法。问题原因 图片处理裁剪算子重心参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/crop,w_500,h_500,g_fac ...
0004-00000244
问题描述 图片处理格式模糊算子倍率参数格式非法。问题原因 图片处理模糊算子倍率参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,g_face,p_1000,r_25,s_50 ...
几何求交
本文介绍几何求交算子的使用方法。用途 几何求交算子用于计算主表与关联节点在空间位置上的交集。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 来源节点 几何求交算子...
统计分组
本文统计分组算子的使用方法及注意事项。用途 统计分组算子可以将请求对象持久化，然后按照设置对已持久化的数据进行聚合计算。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 ...
几何求差
本文介绍几何求差算子的使用方法。用途 几何求差算子用于计算主表相对于关联节点（另一张数据表）在空间位置上的差集。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 ...
ePQ支持查看与分析执行计划
算子级别的统计信息如下：算子执行时间：取执行该算子的所有进程的最长执行时间。算子扫描总行数：取执行该算子的所有进程的扫描行数累加和。算子执行次数（循环）：取执行该算子的所有进程的循环次数累加和。算子的资源使用信息：取执行该...
ePQ支持查看与分析执行计划
算子级别的统计信息如下：算子执行时间：取执行该算子的所有进程的最长执行时间。算子扫描总行数：取执行该算子的所有进程的扫描行数累加和。算子执行次数（循环）：取执行该算子的所有进程的循环次数累加和。算子的资源使用信息：取执行该...
0040-00000242
问题描述 图片处理模糊算子的参数s使用了非法值。问题原因 图片处理模糊算子的参数s为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,r_3,s_abc ...
0040-00000241
问题描述 图片处理模糊算子的参数r使用了非法值。问题原因 图片处理模糊算子的参数r为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,r_abc,s_25 ...
多表合并
本文介绍多表合并算子的使用方法及注意事项。用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 ...
查询流程和执行计划
物理执行计划由Stage和算子（Operator）组成，物理执行计划中的算子（Operator）会对数据按照一定规则进行处理。Executor节点将数据处理的最终结果返回到客户端，或者写入 AnalyticDB MySQL版 集群的内部表以及其它外部存储系统（如OSS）中...
自定义算子管理
说明 此处定义的算子可在后续数据处理任务时调用运行，包括“数据标准化算子”、“数据预处理算子”和“数据预标注算子”。数据标准化算子：对接入平台的非标准格式数据进行标准化，支持RGB图像、视频、传感器内外参、点云、激光雷达原始...
多表连接
本文介绍多表连接算子的使用方法及注意事项。用途 多表连接算子可以将多张数据表按照设置的连接条件进行连接。多表连接 算子是 两表交集 算子的高级版本，满足多张数据表之间多种连接类型的需求。适用场景 计算链路 计算引擎 是否支持 离线...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
工作流模板与算子
本文介绍智能媒体管理IMM提供的工作流模板ID（TemplateId）及其对应支持的算子。简介 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了部分接口所需要执行的工作流。在为存储在对象存储（OSS）、相册与...
一键诊断
算子汇总信息 某些情况下，多个异常算子会导致资源消耗增大，异常算子检测会将 最耗CPU算子和最耗内存算子2个指标进行聚合，您可以根据聚合后的结果查看各类算子指标的最大值，确认异常算子。节点在线状态检测 Executor节点压力较大或内部...
Query Profiling Statistics
查询执行过程中耗时多的算子。单一算子执行时占用的资源量，例如内存，磁盘 I/O，网络 I/O。操作步骤如下：在当前会话中开启查询执行信息收集功能，SQL如下：SET queryprofile.enable=ON;查看历史查询执行信息，此处以获取最近10条历史查询...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
- 产品推荐
- 这些文档可能帮助您