0040-00000238
问题描述 老版本图片处理模糊算子的参数形式非法。问题原因 老版本图片处理模糊算子的参数形式不符合要求。问题示例 GET/example_image@3-bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT...
0004-00000244
问题描述 图片处理格式模糊算子倍率参数格式非法。问题原因 图片处理模糊算子倍率参数不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,g_face,p_1000,r_25,s_50 ...
0040-00000239
问题描述 老版本图片处理模糊算子的参数radius使用了非法值。问题原因 老版本图片处理模糊算子的参数radius不符合取值范围要求。问题示例 GET/example_image@300-2bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,...
0040-00000240
问题描述 老版本图片处理模糊算子的参数sigma使用了非法值。问题原因 老版本图片处理模糊算子的参数sigma不符合取值范围要求。问题示例 GET/example_image@3-200bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 ...
0040-00000242
问题描述 图片处理模糊算子的参数s使用了非法值。问题原因 图片处理模糊算子的参数s为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,r_3,s_abc ...
0040-00000241
问题描述 图片处理模糊算子的参数r使用了非法值。问题原因 图片处理模糊算子的参数r为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,r_abc,s_25 ...
概述
本文简要介绍数据探索中算子的相关概念，要了解算子的详细信息，请访问对应算子章节。什么是算子 算子是一种独立、可复用的逻辑表达，能够通过组合的方式实现更高维度的业务逻辑。行为 和 输入输出 是所有算子都有的属性，描述了算子可以做...
数据去重
用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，...
字段排序
本文介绍字段排序算子的使用...用途 字段排序算子可以对节点的输出字段顺序进行调整。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 字段排序 通过拖拽的方式对字段的顺序进行调整。
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
统计分组
用途 统计分组算子可以将请求对象持久化，然后按照设置对已持久化的数据进行聚合计算。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 分组字段 分组字段 是指需要分组的...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
过滤
用途 过滤算子可以将数据按照过滤条件配置的内容进行过滤，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 过滤条件 配置过滤的筛选条件，比如"语文成绩>80...
质检规则组成说明
算子 算子可以理解为分析方式，例如智能对话分析中对对话的音频或文本文件进行的“关键词检查”“通话静音检查”等分析方式。目前有以下四种类型的算子：文字检查类 语音检查类 知识检查类 其他检查类 关键词检查 通话静音检查 客户检测...
两表差集
用途 两表差集算子可以将两张数据表按照设置的差集条件求取差集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 否 HiveStorage 否 RDS/MySQL 否 Spark 否 使用说明 来源节点 两表差集算子必须指定两个 来源节点（又称为...
PolarDB MySQL版8.0.2版本性能（集群版）
每个算子可以分布到多个worker上并行完成，算子间以流水线方式高效执行；支持全算子并行；算子并行方式多样化，如shuffle join、一阶段group aggregation、基于代价决定并行方式等。更多信息请参见 概述。Hash Join：Hash Join的并行查询...
两表交集
用途 两表交集算子可以将两张数据表按照设置的交集条件求取交集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 两表交集算子必须指定两个 来源节点（又称为...
两表并集
用途 两表并集算子可以将两张数据表按照设置的合并条件求取并集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 两表并集算子必须指定两个 来源节点（又称为...
读API
用途 读API算子可以访问用户指定的接口并解析返回值，产生一张临时表，供后续节点进一步加工处理。适用场景 计算链路 计算引擎 是否支持 离线 ALL 是 实时 Blink 否 在线 内置 否 使用说明 前置条件 用户通过数据中心->API接入页面，将需要...
多表连接
用途 多表连接算子可以将多张数据表按照设置的连接条件进行连接。多表连接 算子是 两表交集 算子的高级版本，满足多张数据表之间多种连接类型的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/...
空间关联
用途 空间关联算子可以将两张数据表中的几何字段根据指定的空间关系进行属性关联。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 来源节点 空间关联算子必须指定2个 来源...
字段加工
用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 加工逻辑 对于需要加工的字段，需要输入字段...
8.0.2版本发布说明
每个算子可以分布到多个worker上并行完成，算子间以流水线方式高效执行；支持全算子并行；算子并行方式多样化，如shuffle join、一阶段group aggregation、基于代价决定并行方式等。更多信息请参见 概述。Hash Join增强 Hash Join的并行...
排序优化和执行
返回信息如下：MergeSort(sort="name ASC")LogicalView(tables="t1",shardCount=2,sql="SELECT `name` FROM `t1` AS `t1` ORDER BY `name`")相比MemSort，MergeSort算子可以减少 PolarDB-X 执行层的内存消耗，并充分利用存储层MySQL层的...
新建脚本算子
您可以在算子中心新建 离线 类型的脚本算子，可作为模型画布中的算子节点运行。本文主要介绍如何新建脚本算子。新建离线脚本算子 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，...
标签对象
用途 标签对象 算子用于从和读数据表算子类似可以作为下游节点输入数据的来源，区别是标签算子的数据表是固定的，一个标签算子会由1到N张表连接而成。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用...
Query Profiling Statistics
queryprofile.node_exec_history和queryprofile.node_exec_status视图中每一个查询算子对应一行数据，其中记录了查询执行过程中在该算子阶段的基本执行信息和消耗的资源，您可以根据视图中的信息定位到执行异常的阶段，优化查询执行过程。...
建一个包含自定义算子的任务
当平台内置的算子无法解决您的数据处理需求时，您需要自己开发一个算子（如天气识别算子）并打包成像，上传到 自定义算子管理 模块，点击上线后，该算子将会在任务配置的算子列表中出现，即可参与任务的编排。大致可分为以下两个步骤：上传...
Partial Result Cache（PTRC）
您可以使用 PolarDB for MySQL 提供的Partial Result Cache（简称PTRC）功能来缓存查询语句中算子的中间结果集，来减少这些复杂算子的重复计算，以此来提升查询性能。本文介绍了PTRC的概念、工作原理、如何基于代价选择PTRC以及PTRC的动态...
配置作业资源
如果您需要对单独的算子设置资源，需要配置对应的运行参数后让每个算子有自己独立的SLOT，这样就可以直接在对应的SLOT上设置算子的资源。具体的算子资源设置步骤如下：在作业 部署详情 页签 运行参数配置 区域的 其他配置 中添加如下参数...
查询优化器介绍
与查询改写阶段不同，在查询计划枚举中，规则可能产生更好的执行计划，也可能产生更差的执行计划，可以根据算子经过规则优化后的前后代价对比选出较优的那个，因此这也被称为基于代价的优化（Cost-based Optimizer，简称CBO）。其核心组件...
自定义算子管理
1 什么是自定义算子 自定义算子是用户自己开发的算法，例如某个预标注算法，通过打包成代码镜像的方式注册到数据管理平台上，可以在数据处理任务中使用。说明 此处定义的算子可在后续数据处理任务时调用运行，包括“数据标准化算子”、...
Explain和Explain Analyze
Explain Analyze：代表SQL真实的运行计划，相比Explain会包含更多的实际运行信息，能 准确 的反映出SQL的执行算子和算子耗时，可以根据算子耗时去做针对性的SQL优化。说明 从Hologres V1.3.4x版本开始，支持通过Explain和Explain Analyze...
计费项
算子与计费项的对应关系如下：算子 计费项 收费方 OSSMeta算子 GetRequest OSS MIME算子 不收费 无 FaceDetection算子 ImageFace 注*IMM LabelClassification算子（图片）ImageClassification 注*IMM LabelClassification算子（视频）...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持6个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
TrajGisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持6个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持所有包含z轴的查询...
- 产品推荐
- 这些文档可能帮助您