Query级别诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何查看和分析Query级别诊断结果。诊断结果类型 说明 查看Query级别诊断...
写标签
本文介绍写标签算子的使用方法。用途 写标签 算子用于将模型上游节点处理之后的数据同步关联到指定的对象标签。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 标签配置 配置将...
GisT索引
支持算子族 当前支持6个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。trajgist_ops_t 对t轴范围建立索引，支持仅包含t轴的查询。trajgist_ops_2d 对x、y轴范围建立索引，支持仅包含x...
Designer支持LLM数据预处理算子及常用模板
Designer支持LLM数据预处理算子及常用模板。适用客户 适用于所有需要特定数据场景下进行LLM预训练及SFT的客户。新增功能/规格 高质量的数据预处理是LLM成功应用的关键步骤，PAI-Designer提供去重、标准化、敏感信息打码等等常用的高性能...
PolarDB MySQL版8.0.2版本性能（集群版）
每个算子可以分布到多个worker上并行完成，算子间以流水线方式高效执行；支持全算子并行；算子并行方式多样化，如shuffle join、一阶段group aggregation、基于代价决定并行方式等。更多信息请参见 概述。Hash Join：Hash Join的并行查询...
两表并集
本文介绍两表并集算子的使用方法及注意事项。用途 两表并集算子可以将两张数据表按照设置的合并条件求取并集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 ...
工作流模板与算子
本文介绍智能媒体管理IMM提供的工作流模板ID（TemplateId）及其对应支持的算子。简介 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了部分接口所需要执行的工作流。在为存储在对象存储（OSS）、相册与...
两表差集
本文介绍两表差集算子的使用方法及注意事项。用途 两表差集算子可以将两张数据表按照设置的差集条件求取差集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 否 HiveStorage 否 RDS/MySQL 否 Spark 否 使用说明 来源节点 ...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
8.0.2版本发布说明
每个算子可以分布到多个worker上并行完成，算子间以流水线方式高效执行；支持全算子并行；算子并行方式多样化，如shuffle join、一阶段group aggregation、基于代价决定并行方式等。更多信息请参见 概述。Hash Join增强 Hash Join的并行...
排序优化和执行
PolarDB-X 中的排序算子主要包括MemSort、TopN，以及 MergeSort。MemSort PolarDB-X 中通用的排序实现为MemSort算子，表示在内存中运行快速排序（Quick Sort）算法。如下示例使用了MemSort算子：explain select t1.name from t1 join t2 on...
读API
本文介绍读API算子的使用方式和注意事项。用途 读API算子可以访问用户指定的接口并解析返回值，产生一张临时表，供后续节点进一步加工处理。适用场景 计算链路 计算引擎 是否支持 离线 ALL 是 实时 Blink 否 在线 内置 否 使用说明 前置...
一键诊断
算子汇总信息 某些情况下，多个异常算子会导致资源消耗增大，异常算子检测会将 最耗CPU算子和最耗内存算子2个指标进行聚合，您可以根据聚合后的结果查看各类算子指标的最大值，确认异常算子。节点在线状态检测 Executor节点压力较大或内部...
执行引擎
每个算子以batch的形式拉取数据，每个batch包含多行数据，可以根据实际需求按照列优先或者行优先的格式存储数据。即时编译技术（Just In Time,JIT）AnalyticDB PostgreSQL版 执行引擎设计引入了即时编译技术，采用LLVM实现了动态代码生成。...
空间关联
本文介绍空间关联算子的使用方法。用途 空间关联算子可以将两张数据表中的几何字段根据指定的空间关系进行属性关联。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 来源...
基本概念
IMM处理引擎将根据配置的工作流模板来决定要执行的算子操作，算子对元数据进行采集并将元数据索引到数据集中。请求类型 同步请求 客户端发出请求后阻塞等待结果返回，通常在几百毫秒内返回。例如图片实例中的人脸检测、内容识别等。异步...
实时质检结果
全文质检 质检规则 中有十几种算子，有些算子分析时需要对话上下文（客服与客户的多轮对话），但实时质检是在通话过程中的质检，通常只有一个角色说的一句话的文本，部分算子不适用于实时质检，所以质检规则分为 实时质检规则 和 全文质检...
两表交集
本文介绍两表交集算子的使用方法及注意事项。用途 两表交集算子可以将两张数据表按照设置的交集条件求取交集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 来源节点 ...
Spark概述
Spark是一个通用的大数据分析引擎，具有高性能、易用性和普遍性等特点。...图计算 Spark的GraphX支持图计算的库，支持丰富的图计算的算子，包括属性算子、结构算子、Join算子和邻居聚合等。详情请参见 GraphX Programming Guide。
查看查询属性与诊断结果
AnalyticDB MySQL版 的SQL诊断功能可以对SQL查询的Query、Stage和算子（Operator）级别的信息分别进行统计，再在统计信息的基础上进行诊断并提供调优建议。本文介绍如何在 AnalyticDB MySQL版 控制台上查看目标查询的属性与各级别的诊断...
自定义SQL
本文介绍自定义SQL算子的使用方法和注意事项。用途 当系统提供的内置算子无法满足需求时，用户可以通过编写SQL语句实现自己特定的业务逻辑。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 ...
Where
Where的计算不涉及到状态，因此它的修改不会影响自身算子的状态兼容，但它的修改会影响其输出算子的兼容性。如果需要通过修改Where条件来修正作业数据（例如过滤脏数据），在 其他配置 中添加如下配置，具体操作请参见 如何配置作业运行...
元数据管理常见问题
智能媒体管理提供的工作流模板ID及算子请参见 工作流模板与算子。是否支持自定义工作流模板？暂不支持自定义工作流模板。项目设置的工作流模板和数据集的工作流模板哪个优先级更高？数据集的工作流模板优先级高于项目设置的工作流模板，当...
新建离线模型
在左侧导航栏把所需的源表引入、上传数据、系统算子、脚本算子 或模型算子 资源拖进画布，并按业务逻辑将拖入的节点连接起来。说明 右键单击节点间的连线，可删除连线。将鼠标悬停在画布的节点上，可对节点进行重命名、复制、删除等操作。...
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
包含算子
boxndf}@>{trajectory,boxndf} {trajectory,boxndf}@>{trajectory,boxndf} 参数 参数名称 描述 算子左侧参数 包含对象。算子右侧参数 被包含对象。描述 判断左侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
被包含算子
描述 判断右侧对象的外包框（由 ST_MakeBox 函数生成的BoxNDF类型）是否在指定的维度上包含左侧对象的外包框，与 包含算子 含义相反。支持的被包含算子如下：/左侧z维度被右侧z维度包含。左侧t维度被右侧t维度包含。左侧xy二维空间被右侧xy...
执行引擎
执行计划由异步算子组成的执行图DAG（有向无环图）表示，可以表达各种复杂查询，并且完美适配Hologres的数据存储模型，方便对接查询优化器，利用各种查询优化技术。全异步执行 端到端的全异步处理框架，可以避免高并发系统的瓶颈，充分利用...
什么是Deepytorch Inference（推理加速）
Pytorch Custom Ops：其他第三方PyTorch算子，该算子不会被优化，而是保留在框架层中。Deepytorch Inference推理加速 Deepytorch Inference组件 Torchscript Graph Optimization PipeLines：Torchscript上的图形优化工具以及算子融合技术。...
概述
等该算子所有数据都迁移完成，算子的状态会变为RUNNING状态，表示所有状态迁移完成，开始正常消费数据。说明 因为修改了Aggregate Function，所以在作业启动时，RocksDB会进行全量状态迁移。上图中的GroupAggregate算子处于INITIALIZING...
字段加工
本文介绍字段加工算子的使用方法和注意事项。用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明...
使用智能检测算子发现异常数据
可观测监控 Prometheus 版 可以通过智能检测算子算法自动地发现KPI时间序列数据中的异常波动，实现时间序列的异常检测，为后续的告警、自动止损、根因分析等提供决策依据，本文介绍使用智能检测算子发现异常数据波动的操作方法。...
调优原理
LogicalView 算子代表下推到存储层MySQL执行的查询，请参见 执行计划和基本算子。示例二：>explain select c_nationkey,count(*)from customer group by c_nationkey;HashAgg(group="c_nationkey",count(*)="SUM(count(*))")Gather...
使用智能检测算子发现异常数据
可观测监控 Prometheus 版 可以通过智能检测算子算法自动地发现KPI时间序列数据中的异常波动，实现时间序列的异常检测，为后续的告警、自动止损、根因分析等提供决策依据，本文介绍使用智能检测算子发现异常数据波动的操作方法。...
- 产品推荐
- 这些文档可能帮助您