概述
行为 和 输入输出 是所有算子都有的属性，描述了算子可以做什么及相应的接口。对于不可解释算子（如图像识别），仅需定义行为和输入输出即可；对于可解释算子（如算术运算、条件判断等），则需要定义 表达式 以及表达式之间的 关系。数据...
数据去重
用途 数据去重算子可以按照指定的字段去除重复的数据，只保留其中一条，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
统计分组
用途 统计分组算子可以将请求对象持久化，然后按照设置对已持久化的数据进行聚合计算。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 Spark 是 使用说明 分组字段 分组字段 是指需要分组的...
过滤
用途 过滤算子可以将数据按照过滤条件配置的内容进行过滤，然后输出到下个节点。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 过滤条件 配置过滤的筛选条件，比如"语文成绩>80...
质检规则组成说明
算子 算子可以理解为分析方式，例如智能对话分析中对对话的音频或文本文件进行的“关键词检查”“通话静音检查”等分析方式。目前有以下四种类型的算子：文字检查类 语音检查类 知识检查类 其他检查类 关键词检查 通话静音检查 客户检测...
两表差集
用途 两表差集算子可以将两张数据表按照设置的差集条件求取差集。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 否 HiveStorage 否 RDS/MySQL 否 Spark 否 使用说明 来源节点 两表差集算子必须指定两个 来源节点（又称为...
读API
用途 读API算子可以访问用户指定的接口并解析返回值，产生一张临时表，供后续节点进一步加工处理。适用场景 计算链路 计算引擎 是否支持 离线 ALL 是 实时 Blink 否 在线 内置 否 使用说明 前置条件 用户通过数据中心->API接入页面，将需要...
多表连接
用途 多表连接算子可以将多张数据表按照设置的连接条件进行连接。多表连接 算子是 两表交集 算子的高级版本，满足多张数据表之间多种连接类型的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/...
空间关联
用途 空间关联算子可以将两张数据表中的几何字段根据指定的空间关系进行属性关联。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 来源节点 空间关联算子必须指定2个 来源...
字段加工
用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 加工逻辑 对于需要加工的字段，需要输入字段...
计费项
算子与计费项的对应关系如下：算子 计费项 收费方 OSSMeta算子 GetRequest OSS MIME算子 不收费 无 FaceDetection算子 ImageFace 注*IMM LabelClassification算子（图片）ImageClassification 注*IMM LabelClassification算子（视频）...
网关与子设备
背景信息 网关子设备管理提供子设备动态注册、获取云端网关下子设备列表、添加子设备、删除子设备、子设备上下线、监听子设备禁用和删除的消息、代理子设备数据上下行的能力。网关是一个直连设备，网关使用子设备管理的功能前，需已连接到...
子设备接入物联网平台
}@Override public void onConnectResult(boolean isSuccess,ISubDeviceChannel iSubDeviceChannel,AError aError){/添加结果 if(isSuccess){/子设备添加成功，接下来可以做子设备上线的逻辑 ALog.i(TAG,"topo关系添加成功:"+JSONObject....
网关与子设备
}@Override public void onConnectResult(boolean isSuccess,ISubDeviceChannel iSubDeviceChannel,AError aError){/添加结果 if(isSuccess){/子设备添加成功，接下来可以做子设备上线的逻辑/subDevOnline(null);} }@Override public void ...
查询计划概述
时序引擎特有扩展算子 TSDBDataScanRel算子 面向Lindorm时序引擎实现最基础的数据扫描算子，由逻辑算子LogicalTableScan转换而来，表示在某个具体的指标（metric）上执行的Scan操作。该算子在展示时会包含以下内容：filter：扫描时同时自带...
UploadRule-创建规则
算子类型以及算子具体内容 Param 描述：param 中的属性较多，有一些是公用属性，有一些是特定算子类型专用的，所以我们按照算子类型维度，来逐一说明每个算子类型都可以使用哪些属性，并且提供配置示例供您参考，以下标题为算子名称（name...
查询优化器介绍
与查询改写阶段不同，在查询计划枚举中，规则可能产生更好的执行计划，也可能产生更差的执行计划，可以根据算子经过规则优化后的前后代价对比选出较优的那个，因此这也被称为基于代价的优化（Cost-based Optimizer，简称CBO）。其核心组件...
标签对象
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 RDS/MySQL 是 使用说明 标签对象的使用和读数据表类似，可以做为模型的数据源直接拖拽到画布中使用，在算子详情中可以查看对应标签对象的数据表信息及已上线的标签（可以...
Query洞察
可以根据Statistics进一步分析算子的消耗，以便进一步对Query调优。读写表信息 展示当前Query涉及的表（读或写），可以单击：表元数据：跳转至表元数据页面，查看当前表的相关元数据。但需要注意表的元数据采集自hg_table_info表，默认T+1...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
优化内部表的性能
PQE算子改写 Hologres底层有原生引擎HQE（Hologres Query Engine，向量引擎）和PQE（Postgres Query Engine，分布式Postgres引擎）等多个执行引擎，如果SQL语句中包含HQE不支持的算子，则系统会将该算子发送至PQE执行。此时查询的性能未能...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
GisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持6个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持仅包含z轴的查询。...
TrajGisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持6个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持所有包含z轴的查询...
TrajGisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持所有包含z轴的查询...
TrajGisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持所有包含z轴的查询...
TrajGisT索引
说明 建立索引后，可以加速各类算子以及ST_ndIntersect、ST_ndDWithin、ST_ndContains、ST_ndWithin函数的查询。支持算子族 当前支持7个索引的算子族，说明如下。算子族名称 描述 trajgist_ops_z 对z轴范围建立索引，支持所有包含z轴的查询...
多表合并
用途 多表合并算子可以将多张数据表按照设置的对齐字段进行数据合并。多表合并 算子是 两表并集 算子的高级版本，满足多张数据表合并的需求。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
Kafka实时入湖
每一个预处理算子的处理逻辑可以看作一个SQL的子查询。算子按照定义顺序执行，后面算子需要基于前面算子的输出字段来编写SQL函数。map算子类似SQL的select操作，由若干个SQL表达式逗号隔开组成，每个表达式必须包含通过as指定表达式别名。...
新建脚本算子
您可以在算子中心新建 离线 类型的脚本算子，可作为模型画布中的算子节点运行。本文主要介绍如何新建脚本算子。新建离线脚本算子 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，...
使用Prometheus监控E-MapReduce
zk_max_latency ZooKeeper最大请求延迟，单位：ms。zk_watch_count ZooKeeper watch的数量。zk_znode_count ZooKeeper znode的数量。zk_num_alive_connections ZooKeeper存活的连接数。zk_outstanding_requests ZooKeeper排队请求的数量。...
使用Prometheus监控E-MapReduce
zk_max_latency ZooKeeper最大请求延迟，单位：ms。zk_watch_count ZooKeeper watch的数量。zk_znode_count ZooKeeper znode的数量。zk_num_alive_connections ZooKeeper存活的连接数。zk_outstanding_requests ZooKeeper排队请求的数量。...
新建资源文件
您可以上传本地资源文件新建资源，并根据上传的资源包生成对应类型的脚本算子。本文介绍如何新建资源。前提条件 已准备好资源文件包，当前支持.jar、.py、.pmml和.sh格式的资源文件包。操作步骤 登录 数据资源平台控制台。在页面左上角单击...
使用Stage和Task详情分析查询
AnalyticDB for MySQL 在前端接入节点接收到查询请求后，会将查询切分成多个Stage，在存储节点（Worker节点）和子任务执行节点（Executor节点）分布式进行数据的读取和计算。部分Stage可以并行执行，但部分Stage之间存在依赖关系，只能串行...
数据库
parallel_append 在Parallel Append计划执行期间等待选择下一个子计划。parallel_hash_join 在Parallel Hash计划执行期间等待分配或交换一块内存或者更新计数器。Lock relation 正等待获得关系上的锁。extend 正等待扩展关系。page 正等待...
- 产品推荐
- 这些文档可能帮助您