使用智能检测算子发现异常数据
可观测监控 Prometheus 版 可以通过智能检测算子算法自动地发现KPI时间序列数据中的异常波动，实现时间序列的异常检测，为后续的告警、自动止损、根因分析等提供决策依据，本文介绍使用智能检测算子发现异常数据波动的操作方法。...
调优原理
LogicalView 算子代表下推到存储层MySQL执行的查询，请参见 执行计划和基本算子。示例二：>explain select c_nationkey,count(*)from customer group by c_nationkey;HashAgg(group="c_nationkey",count(*)="SUM(count(*))")Gather...
使用智能检测算子发现异常数据
可观测监控 Prometheus 版 可以通过智能检测算子算法自动地发现KPI时间序列数据中的异常波动，实现时间序列的异常检测，为后续的告警、自动止损、根因分析等提供决策依据，本文介绍使用智能检测算子发现异常数据波动的操作方法。...
读数据表
本文介绍读数据表算子的使用方法。用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择...
监控告警与日志问题
将source算子和sink算子拆分成独立的算子，分别与其他的算子进行连接，形成新的拓扑结构，在拓扑图中即可看到数据的流向和流量。您需要在 作业运维 页面，单击目标作业名称，在 部署详情 页签 运行参数配置 区域的 其他配置 中添加分割算子...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
优化聚合与排序
本文介绍如何优化器和执行器如何处理聚合（Group-by）与排序（Order-by）算子，以达到减少数据传输量和提高执行效率的效果。基本概念 聚合操作（Aggregate，简称Agg）语义为按照 GROUP BY 指定列对输入数据进行聚合的计算，或者不分组、对...
查询改写与下推
下推是查询改写的一项重要优化，利用 PolarDB-X 1.0 的拆分信息来优化执行计划，使得算子尽量下推以达到提前过滤数据、减少网络传输、并行计算等目的。背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号...
执行计划调优
如何发现问题 自上而下，梳理痛点 从上向下梳理计划，查看时间到底花在了什么算子上面，然后针对具体算子深入分析。查看代价，对比行数 查看比较代价估算的异常（特别小或特别大），对比估算行数和实际执行行数，找到代价估算和行数估算的...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
Join优化
物理算子支持 SelectDB支持如下两种物理Join算子，用于实现单机引擎中数据进行Join的处理过程。Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
Queries语句
不支持 在对更新流的支持上，老语法窗口聚合（GroupWindowAggregation算子）支持更新流（VVR和社区Flink保持一致），新语法（WindowAggregate算子）社区Flink（1.16~1.18）不支持更新流，而VVR实现了新老语法的内部融合，可以自动根据输入...
ID-Mapping在游戏领域的解决方案
本文介绍了如何使用 PolarDB for AI 的特征算子打造ID-Mapping的解决方案。背景信息 ID-Mapping是将所有可以收集到的账户类ID、设备标识ID等信息进行关联，并将关联后的信息汇聚到一个自然人身上，同时赋予这个自然人一个ID，作为这个自然...
相关性函数
相关性算子可以计算两组数据的相关系数，用于分析这两组数据的变化趋势是否存在关联关系。相关性算子 只支持华东2（上海）地域。相关性算子支持最大数据量为1000万行。用于离线调度的相关性算子。计算两组数据的相关系数r。两组数据之间的...
2023年
维护定期回收空间任务 优化 ORCA优化器 ORCA优化器针对DQA（Distinct Qualified Aggregates）查询，进行了如下优化：避免使用性能不佳的聚合算子。聚合过程中添加预聚合阶段。减少数据重分布次数。无 事务 AnalyticDB PostgreSQL 7.0版 将...
质检规则配置
2、添加并配置条件 上面我们讲了，一个条件由算子和检查范围组成，算子有很多种，下面我们对每个算子搭配一个使用场景，来进行讲解：文字检查：关键字检查：检测对话中是否出现了某一个或多个关键词，例如下图，用来检测全文范围内，客服...
调优集群性能
消耗内存较高的SQL一般包含Aggregation算子、TopN算子、Window算子以及Join算子：Aggregation算子 Aggregation算子消耗内存较高主要是因为 云原生数据仓库 AnalyticDB MySQL 版 在进行数据的分组时，会把分组信息暂存在内存中，如果分组...
列存索引中GroupJoin算子的实现
本文介绍了 PolarDB IMCI中GroupJoin算子的一些限制条件和实现方式，以及其他数据的一些相关实现。阅读本文前请先了解基础的HASH JOIN与HASH GROUP BY算法。背景 SELECT key1,SUM(sales)as total_sales FROM fact_table LEFT JOIN ...
PolarDB PostgreSQL版：ePQ架构详解
共享存储算子优化：包括Shuffle算子共享、SharedSeqScan共享、SharedIndexScan算子等。其中SharedSeqScan共享、SharedIndexScan共享是指，在大表join小表时，小表采用类似于复制表的机制来减少广播开销，进而提升性能。分区表支持：不仅...
PolarDB PostgreSQL版：ePQ架构详解
共享存储算子优化：包括Shuffle算子共享、SharedSeqScan共享、SharedIndexScan算子等。其中SharedSeqScan共享、SharedIndexScan共享是指，在大表join小表时，小表采用类似于复制表的机制来减少广播开销，进而提升性能。分区表支持：不仅...
常见问题解答
Q:关键词检查算子填写的关键字是否按照顺序匹配？A:关键词检查算子的匹配没有关键词先后顺序。Q:一条工单/电话命中多个规则，复核校验的时候能否只提交和保存一条规则的命中情况？A:可以。在复核校验时，只要有一条规则填写完复核情况即可...
PolarDB并行查询
以下是针对t1 NLJ t2这个算子，做枚举过程的一个简要示例：在整体枚举完成后，计划空间中会产生一系列带有数据分发 Exchange Enforcer 的物理算子树，基于代价选择最优树即可，然后以Enforcer作为子计划的切分点，可以构建出一系列的执行...
算子功能详解
Recall召回 召回算子，唯一，且不可删除。支持召回表类型：KV/KKV/INDEX/EMBEDDING。可返回召回表的所有字段。Join关联 关联字段：Recall组件返回字段，与关联表的主键(pkey)字段类型相同。在归并同级算子时，可用做所有链路数据集合去重的...
脏话识别服务
你不要说我说什么话都有节奏，*不怕我*的干嘛，我就说了咋地，*我不怕没有延迟的马路，*这种话怎么怎么了，*没怎么没怎么没怎么，只不过是这么说而已。\"};RunPreTrainServiceRequest request=new RunPreTrainServiceRequest();request....
HTAP中的行列混存查询优化
IMCI中算子如何利用统计信息估计行数 实际上真正需要估计的算子只有filter、join和groupby三个，其他的算子（例如排序）通常输出仅和输入行数有关。通过histogram，可以有效地估计出类似 a>10 AND a这样的谓词的选择率，同时也可以通过...
调整I2I算法策略，强化实时反馈的用户体验
如图：示例2：子类目收敛优化 如，【张云雷礼盒】稚优泉梦乐家礼盒联名彩妆套装唇釉化妆品组合装触发用户多条行为之后，我们希望推荐出更多与“化妆品_彩妆套装”中“彩妆套装”更加相关的商品，则可启用“子类目收敛优化”算子并将优先级...
GetRuleDetail-获取规则的明细信息
10 Conditions object[]所有条件的配置信息 ConditionInfoCid string 条件的 ID 7 OperLambda string 条件中算子的逻辑关系 7 Operators object[]条件包含的算子 Type string 算子类型 REGULAR_EXPRESSION Oid string 算子的 ID 8 OperName...
使用内置算子建一个简单的数据处理任务
本文为您介绍了如何在自动驾驶数据管理中使用内置算子构建一个简单的自动驾驶云上数据预处理流程。本文内容的视频教程 以上视频介绍建立一个简单数据处理任务的流程。创建任务数据源（云资源管理）首先在右上角单击“云资源管理”。在创建...
多值数据查询
0004","tagk":"sensor","type":"literal_or"}]}]} 差值（delta）说明 当用户在子查询中指定差值算子的时候，TSDB返回的数据的 dps 中的 key-value 对的 value 值将是计算所得的差值。重要 如果未指定差值时返回的 dps 中有 n 个 key-value ...
执行计划
其他算子 查询计划中出现的其他操作算子包括：Materialize：优化器将一个子查询结果进行物化。InitPlan：预查询，被用在动态分区消除中，当执行时还不知道优化器需要用来标识要扫描分区的值时，会执行这个预查询。Sort：为另操作（例如...
新建脚本算子
您可以在算子中心新建 离线 类型的脚本算子，可作为模型画布中的算子节点运行。本文主要介绍如何新建脚本算子。新建离线脚本算子 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，...
DescribeSQLPlan-查询基础信息和计划信息
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
算子中心
算子中心包含算子管理、算子配置。算子管理 算子管理模块展示并管理用户添加的脚本算子，通过模型生成的模型算子，用于在构建模型时使用。算子配置 算子配置模块展示并管理用户上传的资源文件及函数信息、包含了资源文件和函数。资源文件 ...
查询诊断
默认情况下，计划树中算子卡片下方线条代表该算子执行耗时在所有算子中的占比，页面右上的列表也会展示算子执行耗时占比，并按耗时占比排序。您也可以根据需求选择按照占用内存、磁盘读取数据量、磁盘读取数据耗时、网络传输数据量、网络...
计算下推
多元索引包含b,c,d，通过多元索引读取数据，支持算子下推*/支持下推的算子 算子类型 下推算子 下推限制 逻辑运算符 AND、OR 不支持NOT算子下推。关系运算符=、!BETWEEN.AND.只有数据列和常数的比较才支持算子下推，不支持数据...
GraphFlowNode
1 Lambda string 普通算子逻辑 a CheckType integer 质检维度 1 Triggers array 关注的算子 string 算子 a BranchJudge boolean 是否开启分支判断 true CheckMoreSize integer 最多检测 N 句 1 Conditions array 算子信息 ...
0040-00000203
问题描述 图片处理算子参数格式非法。问题原因 在单个算子参数的图片处理算子中传入多个参数，参数个数不符合要求。问题示例 GET/example_image?x-oss-process=image/rotate,90,200,300 ...
Query Profiling Statistics
说明 该字段并非算子执行开始结束执行时间的间隔（可能包含下层算子执行消耗的时间），而是该算子本身执行所消耗的时间。diskreadsize int8 算子从磁盘读取数据量。diskreadtime float8 算子从磁盘读取数据消耗的时间，单位为秒（s）。...
- 产品推荐
- 这些文档可能帮助您