模型中心
模型中心提供业务模型的可视化组装、编排能力，提供拖拽式智能算子的面向业务场景的模型Flow DAG的编辑与配置。通过该模块可以将业务需求...支持对运行节点的算子配置条件规则；算子节点支持查看结果集，运行日志、重命名、执行到此处等功能。
0040-00000236
问题描述 老版本图片处理内切圆算子的参数radius使用了非法值。问题原因 老版本图片处理内切圆算子的参数radius不符合取值范围要求。问题示例 GET/example_image@5000-0ci ...
多表合并
本文介绍多表合并算子的使用方法及注意事项。用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 ...
查询流程和执行计划
物理执行计划由Stage和算子（Operator）组成，物理执行计划中的算子（Operator）会对数据按照一定规则进行处理。Executor节点将数据处理的最终结果返回到客户端，或者写入 AnalyticDB MySQL版 集群的内部表以及其它外部存储系统（如OSS）中...
0040-00000237
问题描述 图片处理圆角矩形算子的参数r使用了非法值。问题原因 图片处理圆角矩形的参数r为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/rounded-corners,r_abc ...
过滤
本文介绍过滤算子的使用方法及注意事项。用途 过滤算子可以将数据按照过滤条件配置的内容进行过滤，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 过滤条件 ...
产品优势
高性能的算子：兼容开源Gremlin查询算子，平滑对接图计算生态。同时采用计算下沉、特定算子重构等多种优化方案，性能相比业界最优方案提升5倍以上。多种数据源支持：支持MaxCompute、SLS、HDFS源数据一键接入。针对Neo4j、Flink提供对接...
自定义算子管理
说明 此处定义的算子可在后续数据处理任务时调用运行，包括“数据标准化算子”、“数据预处理算子”和“数据预标注算子”。数据标准化算子：对接入平台的非标准格式数据进行标准化，支持RGB图像、视频、传感器内外参、点云、激光雷达原始...
GisT索引
operator_family：指定索引所使用的算子族，可以省略，默认值为 trajgist_ops_multi，可通过 ganos.trajectory.index_split_config 参数调整。说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_...
GisT索引
operator_family：指定索引所使用的算子族，可以省略，默认值为 trajgist_ops_multi，可通过 ganos.trajectory.index_split_config 参数调整。说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_...
GisT索引
operator_family：指定索引所使用的算子族，可以省略，默认值为 trajgist_ops_multi，可通过 ganos.trajectory.index_split_config 参数调整。说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_...
多表连接
本文介绍多表连接算子的使用方法及注意事项。用途 多表连接算子可以将多张数据表按照设置的连接条件进行连接。多表连接 算子是 两表交集 算子的高级版本，满足多张数据表之间多种连接类型的需求。适用场景 计算链路 计算引擎 是否支持 离线...
写标签
本文介绍写标签算子的使用方法。用途 写标签 算子用于将模型上游节点处理之后的数据同步关联到指定的对象标签。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 标签配置 配置将...
GisT索引
支持算子族 当前支持6个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。trajgist_ops_t 对t轴范围建立索引，支持仅包含t轴的查询。trajgist_ops_2d 对x、y轴范围建立索引，支持仅包含x...
两表并集
本文介绍两表并集算子的使用方法及注意事项。用途 两表并集算子可以将两张数据表按照设置的合并条件求取并集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 ...
工作流模板与算子
本文介绍智能媒体管理IMM提供的工作流模板ID（TemplateId）及其对应支持的算子。简介 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了部分接口所需要执行的工作流。在为存储在对象存储（OSS）、相册与...
基本概念
IMM处理引擎将根据配置的工作流模板来决定要执行的算子操作，算子对元数据进行采集并将元数据索引到数据集中。请求类型 同步请求 客户端发出请求后阻塞等待结果返回，通常在几百毫秒内返回。例如图片实例中的人脸检测、内容识别等。异步...
读API
本文介绍读API算子的使用方式和注意事项。用途 读API算子可以访问用户指定的接口并解析返回值，产生一张临时表，供后续节点进一步加工处理。适用场景 计算链路 计算引擎 是否支持 离线 ALL 是 实时 Blink 否 在线 内置 否 使用说明 前置...
两表差集
本文介绍两表差集算子的使用方法及注意事项。用途 两表差集算子可以将两张数据表按照设置的差集条件求取差集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 否 HiveStorage 否 RDS/MySQL 否 Spark 否 使用说明 来源节点 ...
一键诊断
算子汇总信息 某些情况下，多个异常算子会导致资源消耗增大，异常算子检测会将 最耗CPU算子和最耗内存算子2个指标进行聚合，您可以根据聚合后的结果查看各类算子指标的最大值，确认异常算子。节点在线状态检测 Executor节点压力较大或内部...
空间关联
本文介绍空间关联算子的使用方法。用途 空间关联算子可以将两张数据表中的几何字段根据指定的空间关系进行属性关联。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 来源...
实时质检结果
但实时质检是在通话过程中的质检，通常只有一个角色说的一句话的文本，部分算子不适用于实时质检，所以质检规则分为 实时质检规则 和 全文质检规则：实时质检规则：进行实时质检时使用的规则，支持的算子类型有限，不支持指定算子的检测...
两表交集
本文介绍两表交集算子的使用方法及注意事项。用途 两表交集算子可以将两张数据表按照设置的交集条件求取交集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 ...
自定义SQL
本文介绍自定义SQL算子的使用方法和注意事项。用途 当系统提供的内置算子无法满足需求时，用户可以通过编写SQL语句实现自己特定的业务逻辑。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。...图计算 Spark的GraphX支持图计算的库，支持丰富的图计算的算子，包括属性算子、结构算子、Join算子和邻居聚合等。详情请参见 GraphX Programming Guide。
元数据管理常见问题
在为存储在阿里云对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据索引时，引擎将根据配置的工作流模板来决定要执行的算子操作。智能媒体管理提供哪些工作流模板？智能媒体管理提供的工作流模板ID及算子请参见 工作流模板...
字段加工
本文介绍字段加工算子的使用方法和注意事项。用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明...
概述
此时整个作业已经启动，处于RUNNING状态，而需要发生数据迁移的算子处于INITIALIZING状态，并且不会消费和处理任何数据。等该算子所有数据都迁移完成，算子的状态会变为RUNNING状态，表示所有状态迁移完成，开始正常消费数据。说明 因为...
ANALYZE分析工具
统计内容与形式 兼容现有 EXPLAIN ANALYZE 的功能和语法，输出每个算子的执行状态，具体包括以下内容：算子执行时间，目前取该算子下所有PX Worker的最大执行时间。算子扫描的总行数，目前取该算子下所有PX Worker所扫描行数的累加和。算子...
计费项
算子与计费项的对应关系如下：算子 计费项 收费方 OSSMeta算子 GetRequest OSS MIME算子 不收费 无 FaceDetection算子 ImageFace 注*IMM LabelClassification算子（图片）ImageClassification 注*IMM LabelClassification算子（视频）...
监控告警与日志问题
将source算子和sink算子拆分成独立的算子，分别与其他的算子进行连接，形成新的拓扑结构，在拓扑图中即可看到数据的流向和流量。您需要在 作业运维 页面，单击目标作业名称，在 部署详情 页签 运行参数配置 区域的 其他配置 中添加分割算子...
调优集群性能
如果是计算节点或存储节点CPU使用率增高的问题，可以结合一键诊断结果中的计算层检测和存储层检测中的异常算子检测来分析，异常算子中的算子详细信息和算子汇总信息中，都会从CPU消耗角度对异常算子进行了筛选和过滤。写入 写入过程也会...
优化聚合与排序
本文介绍均为不下推的Agg或Sort的算子的实现。如果已被下推到LogicalView中，则由存储层MySQL来选择执行方式。聚合（Agg）聚合（Agg）由两种主要的算子HashAgg和SortAgg实现。HashAgg HashAgg利用哈希表实现聚合：根据输入行的分组列的值，...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.9.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版 的内核小版本的版本号...
分区表扫描算子
本文介绍了分区表扫描算子的使用限制、使用说明以及性能对比等内容。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.15.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容...
执行计划调优
如何发现问题 自上而下，梳理痛点 从上向下梳理计划，查看时间到底花在了什么算子上面，然后针对具体算子深入分析。查看代价，对比行数 查看比较代价估算的异常（特别小或特别大），对比估算行数和实际执行行数，找到代价估算和行数估算的...
使用Stage和Task详情分析查询
表数据读取量 当某个Stage的算子树中有表扫描节点（TableScan）时，表示该Stage的所有表扫描节点从源表读取的数据行数和数据大小。对该字段进行排序，可以判断源表数据是否存在数据倾斜。如果存在数据倾斜，您可以通过控制台进行分布字段...
Queries语句
老语法窗口聚合（GroupWindowAggregation算子）支持更新流（VVR和社区Flink保持一致），新语法（WindowAggregate算子）社区Flink（1.16~1.18）不支持更新流，而VVR实现了新老语法的内部融合，可以自动根据输入流的情况选择支持的算子，实现...
过滤条件不下推
在查询的 执行计划 页签，单击包含TableScan算子的Stage。说明 进入 执行计划 页签的步骤，请参见 查看诊断结果。单击 查看Stage计划。在Stage计划页面，单击TableScan算子。在右侧 属性 中，查看是否显示 PushedDownFilter 属性。如果显示...
ID-Mapping在游戏领域的解决方案
本文介绍了如何使用 PolarDB for AI 的特征算子打造ID-Mapping的解决方案。背景信息 ID-Mapping是将所有可以收集到的账户类ID、设备标识ID等信息进行关联，并将关联后的信息汇聚到一个自然人身上，同时赋予这个自然人一个ID，作为这个自然...
- 产品推荐
- 这些文档可能帮助您