使用智能检测算子发现异常数据
可观测监控 Prometheus 版 可以通过智能检测算子算法自动地发现KPI时间序列数据中的异常波动，实现时间序列的异常检测，为后续的告警、自动止损、根因分析等提供决策依据，本文介绍使用智能检测算子发现异常数据波动的操作方法。...
ANALYZE分析工具
算子的buffer、内存等资源使用信息，目前取该算子下所有PX Worker的资源使用量累加和。统计每个PX Worker的执行状态：例如，Seq Scan 算子会被4个PX Worker执行，需要输出每个PX Worker的信息，可以用于判断查询计划是否存在倾斜的情况。...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
0040-00000235
问题描述 老版本图片处理内切圆算子的参数格式非法。问题原因 老版本图片处理内切圆算子的参数不符合格式要求。问题示例 GET/example_image@ci HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 ...
0040-00000234
问题描述 老版本图片处理内切圆算子的参数type取值非法。问题原因 老版本图片处理内切圆算子的参数type不符合取值范围要求。问题示例 GET/example_image@100-10ci HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 ...
0040-00000215
问题描述 图片处理自适应方向算子参数格式非法。问题原因 图片处理自适应方向算子参数为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/resize,w_100/auto-orient,abc ...
0040-00000214
问题描述 图片处理自适应方向算子参数格式非法。问题原因 图片处理自适应方向算子参数格式非法，没有指定明确的参数值。问题示例 GET/example_image?x-oss-process=image/resize,w_100/auto-orient ...
0040-00000236
问题描述 老版本图片处理内切圆算子的参数radius使用了非法值。问题原因 老版本图片处理内切圆算子的参数radius不符合取值范围要求。问题示例 GET/example_image@5000-0ci ...
基本概念
外包框处理算子用来判断算子左侧对象和算子右侧对象两者的时空外包框是否满足指定的时空关系。算子类别标记 算子类别标记目前分为三种：相交类标记：&或&包含类标记：@>被包含类标记：说明 当维度标记存在于算子类别标记内部（例如&）时，...
基本概念
外包框处理算子用来判断算子左侧对象和算子右侧对象两者的时空外包框是否满足指定的时空关系。算子类别标记 算子类别标记目前分为三种：相交类标记：&或&包含类标记：@>被包含类标记：说明 当维度标记存在于算子类别标记内部（例如&）时，...
基本概念
外包框处理算子用来判断算子左侧对象和算子右侧对象两者的时空外包框是否满足指定的时空关系。算子类别标记 算子类别标记目前分为三种：相交类标记：&或&包含类标记：@>被包含类标记：说明 当维度标记存在于算子类别标记内部（例如&）时，...
基本概念
外包框处理算子用来判断算子左侧对象和算子右侧对象两者的时空外包框是否满足指定的时空关系。算子类别标记 算子类别标记目前分为三种：相交类标记：&或&包含类标记：@>被包含类标记：说明 当维度标记存在于算子类别标记内部（例如&）时，...
Join
Regular Join 当前不支持Regular Join相关算子的状态迁移，因此任何Join相关的修改，状态都不兼容。修改包括Join类型、Join condition和Join输入的Schema等。Interval Join 当前不支持Interval Join相关算子的状态迁移，因此任何Join相关的...
监控、诊断和故障排除
服务监控 监视总体运行状况 可用性和有效请求率 可用性和有效请求率是有关系统稳定性和用户是否正确使用系统的最重要指标，指标小于100%说明某些请求失败。可能因为一些系统优化因素出现暂时性的低于100%，例如为了负载均衡而出现分区迁移...
UploadRule-创建规则
算子类型以及算子具体内容 Param 描述：param 中的属性较多，有一些是公用属性，有一些是特定算子类型专用的，所以我们按照算子类型维度，来逐一说明每个算子类型都可以使用哪些属性，并且提供配置示例供您参考，以下标题为算子名称（name...
查看代码结构
经典结构主要用于查看SQL代码中涉及的SQL算子，及各算子之间的关联关系。鼠标悬停至对应算子的图标上，即可查看该算子的含义。常用的SQL算子如下。源表：查询的目标表。筛选：筛选目标表中需要查询的具体分区。中间表（查询视图）：存放...
使用ODPS Foreign Table访问MaxCompute数据
MaxCompute外表扫描，实现了 AnalyticDB PostgreSQL版 的Foreign Scan算子。因此，表查询的使用方法上，对MaxCompute外表的查询与对普通表的查询基本一致。本文以 TPC-H Query为例，举例说明常见的使用场景。MaxCompute外表查询分析 TPC-H ...
模型中心
模型中心提供业务模型的可视化组装、编排能力，提供拖拽式智能算子的面向业务场景的模型Flow DAG的编辑与配置。通过该模块可以将业务需求转换为业务模型进而通过底层引擎的运行产生业务效果，主要包含以下功能：模型管理、模型编排、模型发...
2021年7月13日 V3.12.0产品更新
2021年7月13日 V3.12.0产品更新，核心内容包括评分大盘、通话静音检测算子等功能优化。功能模块 亮点解释 优化评分大盘 将离线大盘拆分成离线语音和离线文本大盘，精细化统计热线、在线场景的客服评分情况，并支持分析数据导出。优化在线...
版本说明
修复多值模型下 delta 算子与 rate 算子错误混用的问题。V2.5.10 2019年10月16日 修复TSDB内部监控指标错误的问题。V2.5.9 2019年9月3日 新特性 查询增加对差值（delta）算子的支持。问题修复 相同的标签过滤条件放在 tags 字段中解析报错...
查询优化器介绍
算子下推 算子下推是非常关键的一步，PolarDB-X 1.0 内置了如下算子的下推优化规则：优化规则 描述 谓词下推或列裁剪 将Filter及Project算子下推至存储层MySQL执行，过滤掉不需要的行和列。JOIN Clustering 将JOIN按照拆分方式及拆分键的...
产品优势
高性能的算子：兼容开源Gremlin查询算子，平滑对接图计算生态。同时采用计算下沉、特定算子重构等多种优化方案，性能相比业界最优方案提升5倍以上。多种数据源支持：支持MaxCompute、SLS、HDFS源数据一键接入。针对Neo4j、Flink提供对接...
2024-03-13版本
同城高可用 开通实时计算Flink版 资源调整 管理项目空间 修改虚拟交换机 算子探查（公测）支持对运行中的SQL作业进行中间结果查询，减少排查数据正确性的难度。算子探查（公测）免费监控服务 开通Flink工作空间时，支持选择免费监控服务，...
查询优化器介绍
物理算子下推 物理算子下推是非常关键的一步，PolarDB-X 内置了如下物理算子的下推优化规则：优化规则 描述 谓词下推或列裁剪 将Filter及Project物理算子下推至存储层MySQL执行，过滤掉不需要的行和列。JOINClustering 将JOIN按照拆分...
Partial Result Cache（PTRC）
评估算子使用PTRC的命中率，当命中率高于 partial_result_cache_low_hit_rate 参数值时，才考虑引入PTRC。基于代价选择PTRC时，优化器会优先检查 partial_result_cache_cost_threshold 参数值。当查询的整体cost小于该阈值时，该查询的执行...
算子介绍
算子介绍 含义 算子 可下推至DN的算子 LogicalView，LogicalModifyView，PhyTableOperation,IndexScan 连接（Join）BKAJoin，NLJoin，HashJoin，SortMergeJoin，HashSemiJoin，SortMergeSemiJoin，MaterializedSemiJoin 排序 MemSort，TopN...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
优化聚合与排序
本文介绍如何优化器和执行器如何处理聚合（Group-by）与排序（Order-by）算子，以达到减少数据传输量和提高执行效率的效果。基本概念 聚合操作（Aggregate，简称Agg）语义为按照 GROUP BY 指定列对输入数据进行聚合的计算，或者不分组、对...
查询改写与下推
下推是查询改写的一项重要优化，利用 PolarDB-X 1.0 的拆分信息来优化执行计划，使得算子尽量下推以达到提前过滤数据、减少网络传输、并行计算等目的。背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储...
2023年
维护定期回收空间任务 优化 ORCA优化器 ORCA优化器针对DQA（Distinct Qualified Aggregates）查询，进行了如下优化：避免使用性能不佳的聚合算子。聚合过程中添加预聚合阶段。减少数据重分布次数。无 事务 AnalyticDB PostgreSQL 7.0版 将...
Kafka实时入湖
数据预处理支持使用Spark SQL函数定义预处理算子，目前支持map与filter两种算子。定义预处理算子需要注意以下几点：第一个预处理算子需要基于Kafka入湖的schema来编写，请参考如上字段列表。每一个预处理算子的处理逻辑可以看作一个SQL的子...
- 产品推荐
- 这些文档可能帮助您