工作流模板与算子
本文介绍智能媒体管理IMM提供的工作流模板ID（TemplateId）及其对应支持的算子。简介 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了部分接口所需要执行的工作流。在为存储在对象存储（OSS）、相册与...
一键诊断
算子汇总信息 某些情况下，多个异常算子会导致资源消耗增大，异常算子检测会将 最耗CPU算子和最耗内存算子2个指标进行聚合，您可以根据聚合后的结果查看各类算子指标的最大值，确认异常算子。节点在线状态检测 Executor节点压力较大或内部...
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
避免下盘
由于磁盘操作相对内存访问缓慢，避免查询执行过程中的算子下盘有助于提高查询效率。算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认...
ANALYZE分析工具
统计内容与形式 兼容现有 EXPLAIN ANALYZE 的功能和语法，输出每个算子的执行状态，具体包括以下内容：算子执行时间，目前取该算子下所有PX Worker的最大执行时间。算子扫描的总行数，目前取该算子下所有PX Worker所扫描行数的累加和。算子...
计费项
算子与计费项的对应关系如下：算子 计费项 收费方 OSSMeta算子 GetRequest OSS MIME算子 不收费 无 FaceDetection算子 ImageFace 注*IMM LabelClassification算子（图片）ImageClassification 注*IMM LabelClassification算子（视频）...
优化聚合与排序
本文介绍均为不下推的Agg或Sort的算子的实现。如果已被下推到LogicalView中，则由存储层MySQL来选择执行方式。聚合（Agg）聚合（Agg）由两种主要的算子HashAgg和SortAgg实现。HashAgg HashAgg利用哈希表实现聚合：根据输入行的分组列的值，...
Join优化
物理算子支持 SelectDB支持如下两种物理Join算子，用于实现单机引擎中数据进行Join的处理过程。Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for...
UploadRule-创建规则
type String 是 INCLUDE_KEYWORDS 算子类型，具体内容参见下方的 算子类型以及算子具体内容 Param 描述。param Param 是 具体内容参见下方的 算子类型以及算子具体内容 Param 描述 算子表达式具体内容。算子类型以及算子具体内容 Param ...
Queries语句
老语法窗口聚合（GroupWindowAggregation算子）支持更新流（VVR和社区Flink保持一致），新语法（WindowAggregate算子）社区Flink（1.16~1.18）不支持更新流，而VVR实现了新老语法的内部融合，可以自动根据输入流的情况选择支持的算子，实现...
视觉计算服务的审计事件
GetTaskAlgorithmByVersionCode 查看指定版本的算子信息。GetTrainAlgorithm 获取训练算法。GetTrainDataset 查询数据集详细信息。GetTrainTest 查询评测结果。GetYieldModelDetail 查询模型服务明细。ImageFinish 完成镜像创建。InvokeApi...
查看代码结构
经典结构主要用于查看SQL代码中涉及的SQL算子，及各算子之间的关联关系。鼠标悬停至对应算子的图标上，即可查看该算子的含义。常用的SQL算子如下。源表：查询的目标表。筛选：筛选目标表中需要查询的具体分区。中间表（查询视图）：存放...
多表合并
本文介绍多表合并算子的使用方法及注意事项。用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 ...
查询优化器介绍
查询改写这一步的主要有如下功能：子查询去关联化（Subquery Unnesting）子查询去关联化是将含有关联项的子查询（关联子查询）表示为SemiJoin或类似的算子，便于后续的各种优化，例如下推到存储层MySQL或在 PolarDB-X 1.0 层选择某种算法...
查询优化器介绍
物理算子下推 物理算子下推是非常关键的一步，PolarDB-X 内置了如下物理算子的下推优化规则：优化规则 描述 谓词下推或列裁剪 将Filter及Project物理算子下推至存储层MySQL执行，过滤掉不需要的行和列。JOINClustering 将JOIN按照拆分...
基本概念
条件 条件由检查范围和算子组成，如「客服的第一句话包含“你好”」这个条件的检查角色是「客服」范围是「客服说的第一句话」，算子是「出现关键字“你好”」，一个条件只能包含一个算子。算子 对检查范围限定的句子逐句做出判定。如关键词...
阿里云智能质检
条件：条件由检查范围和算子组成，如「客服的第一句话是“你好”」这个条件的检查范围是「客服说的第一句话」，算子是「出现关键字“你好”」，一个条件内可以包含多个算子组成的逻辑表达式。检查范围：目前支持的检查范围有下面3个基准...
概述
数据探索的算子分为三大类：脚本算子：由程序语言编写，通常不具备可解释性，例如 一个Jar包、一个算法镜像等。连接器：关联现实世界中的某种资源，例如 读取MaxCompute表 等。抽象算子：使用了表达式规范和关系描述符的可解释算子。表达式...
算子中心
算子中心包含算子管理、算子配置。算子管理 算子管理模块展示并管理用户添加的脚本算子，通过模型生成的模型算子，用于在构建模型时使用。算子配置 算子配置模块展示并管理用户上传的资源文件及函数信息、包含了资源文件和函数。资源文件 ...
算子
您可以通过 AnalyticDB MySQL版 的SQL诊断功能查看具备属性的算子以及算子级别的结果诊断。更多详情，请参见 算子层计划执行树 和 算子级别诊断结果。说明 只有部分算子具备属性。Aggregation AnalyticDB MySQL版 是一个分布式数据库，支持...
模型画布简介
说明 系统算子是指将业务人员经常使用的计算逻辑进行组件封装，作为模型中心预置的算子。系统算子使用具体操作，请参见 算子手册。② 工具栏 画布上方按钮依次为撤销、重做、删除、缩小、放大、复制、删除、框选模式、自适应、垂直布局、...
GetResult-获取质检结果
KeyWords object[]命中的关键字（针对关键字、正则类型的算子）。From integer 关键字的起始位置。1 To integer 关键字的结束位置 2 Val string 算子命中的关键信息，详见下方返回参数说明中的 关键信息 Val 详解。test Cid string 命中的...
0040-00000217
问题描述 图片处理旋转算子参数格式非法。问题原因 图片处理旋转算子参数为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/rotate,abc HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,...
0040-00000205
问题描述 老版本图片处理高级裁剪算子参数非法。问题原因 老版本图片处理高级裁剪算子参数格式非法或参数类型为非数字。问题示例 GET/example_image@100-50-100a HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 ...
0040-00000216
问题描述 图片处理旋转算子参数格式非法。问题原因 图片处理旋转算子参数为格式非法，没有指定明确的参数值。问题示例 GET/example_image?x-oss-process=image/rotate HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,...
0040-00000206
问题描述 图片处理格式转换算子参数格式非法。问题原因 图片处理格式转换算子参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/format,dng HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03...
0040-00000207
问题描述 图片处理格式转换算子参数格式非法。问题原因 图片处理格式转换算子参数格式非法，没有指定明确的参数值。问题示例 GET/example_image?x-oss-process=image/format ...
0040-00000215
问题描述 图片处理自适应方向算子参数格式非法。问题原因 图片处理自适应方向算子参数为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/resize,w_100/auto-orient,abc ...
0040-00000214
问题描述 图片处理自适应方向算子参数格式非法。问题原因 图片处理自适应方向算子参数格式非法，没有指定明确的参数值。问题示例 GET/example_image?x-oss-process=image/resize,w_100/auto-orient ...
新建资源文件
您可以上传本地资源文件新建资源，并根据上传的资源包生成对应类型的脚本算子。本文介绍如何新建资源。前提条件 已准备好资源文件包，当前支持.jar、.py、.pmml和.sh格式的资源文件包。操作步骤 登录 数据资源平台控制台。在页面左上角单击...
DescribeSQLPlan-查询基础信息和计划信息
5984 OperatorCost long 该阶段内部总的算子耗时，等同于该阶段的 CPU Time，可用于判断查询哪些部分消耗了较多的计算资源。单位为毫秒（ms）。5984 ScanTimeMax long 带数据扫描算子的阶段在各个存储节点读取数据耗时的最大值，单位为毫秒...
配置作业资源
如果您需要对单独的算子设置资源，需要配置对应的运行参数后让每个算子有自己独立的SLOT，这样就可以直接在对应的SLOT上设置算子的资源。具体的算子资源设置步骤如下：在作业 部署详情 页签 运行参数配置 区域的 其他配置 中添加如下参数...
新建离线模型
在左侧导航栏把所需的源表引入、上传数据、系统算子、脚本算子 或模型算子 资源拖进画布，并按业务逻辑将拖入的节点连接起来。说明 右键单击节点间的连线，可删除连线。将鼠标悬停在画布的节点上，可对节点进行重命名、复制、删除等操作。...
PolarDB PostgreSQL版：ePQ架构详解
共享存储算子优化：包括Shuffle算子共享、SharedSeqScan共享、SharedIndexScan算子等。其中SharedSeqScan共享、SharedIndexScan共享是指，在大表join小表时，小表采用类似于复制表的机制来减少广播开销，进而提升性能。分区表支持：不仅...
FieldTermProximity
参数列表：opName—算子名称，目前支持的算子名称：sum 和 max。sum：表示求和，max：表示求最大值。默认为sum。double evaluate(OpsScoreParams params)计算查询词分词词组在字段上分布的紧密程度。参数列表：params—算分输入参数，详情...
功能简介
算子管理：展示并管理用户添加的脚本算子，已添加的算子可在模型画布中进行托拉拽使用。算子配置：展示并管理用户上传的资源文件及函数信息，包含了资源管理。模型中心 模型中心提供业务模型的可视化组装、编排能力，提供拖拽式智能算子的...
查询执行器介绍
但是对于较复杂的SQL，往往无法将SQL中的算子全部下推，这时候就需要 PolarDB-X 1.0 执行器执行无法下推的计算。例如，对于如下查询SQL：SELECT l_orderkey,sum(l_extendedprice*(1-l_discount))AS revenue FROM CUSTOMER,ORDERS,LINEITEM ...
读API
本文介绍读API算子的使用方式和注意事项。用途 读API算子可以访问用户指定的接口并解析返回值，产生一张临时表，供后续节点进一步加工处理。适用场景 计算链路 计算引擎 是否支持 离线 ALL 是 实时 Blink 否 在线 内置 否 使用说明 前置...
FieldTermMatchCount
参数列表：opName—算子名称，目前支持的算子名称：sum 和 max。sum：表示求和，max：表示求最大值。默认为sum。double evaluate(OpsScoreParams params)计算字段中与查询词匹配的分词词组个数。参数列表：params—算分输入参数，详情请...
- 产品推荐
- 这些文档可能帮助您