可视化MapReduce模型
接口 解释 是否必选 public Map,String>labelMap()实现输出子任务标签信息，用于展示对应子任务对象的业务自定义特征信息（如：账户名、商品Code、城市区域等）。否 与MapReduce对比 对比项 MapReduce 可视化MapReduce 子任务数量 可支持...
可视化MapReduce模型
接口 解释 是否必选 public Map,String>labelMap()实现输出子任务标签信息，用于展示对应子任务对象的业务自定义特征信息（如：账户名、商品Code、城市区域等）。否 与MapReduce对比 对比项 MapReduce 可视化MapReduce 子任务数量 可支持...
使用执行计划分析查询
数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，再由最上层的根节点算子（StageOutput或Output）将数据输出到下游Stage或将查询...
概述
示例名称 输入 流数据分析算子 输出 高温报警 设备属性 过滤 边缘端文件 温度平均值计算 设备属性 过滤、聚合 边缘端文件、MySQL数据库 连续高温报警 设备属性 复杂事件处理 边缘端文件 订单结算 设备事件、MySQL数据库 聚合、数据连接...
查询诊断
输出行数 该算子向上层算子输出数据行数。输入行数 该算子从下层算子或磁盘中读取的数据行数。执行占用内存 算子执行占用内存。说明 查询分析中只统计Sort、Hash、Hash Aggregate三个算子占用的内存，其它算子因占用内存较少而忽略。执行...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
HTAP中的行列混存查询优化
IMCI中算子如何利用统计信息估计行数 实际上真正需要估计的算子只有filter、join和groupby三个，其他的算子（例如排序）通常输出仅和输入行数有关。通过histogram，可以有效地估计出类似 a>10 AND a这样的谓词的选择率，同时也可以通过...
Explain和Explain Analyze
20:20：输入并发度与输出并发度（dag dop）之比，比值代表该算子的输入和输出之间的并行度对应关系。通常来说该值会跟算子结果一起看，比如：gather算子21:1，表示21个输入合成1个输出；Redistribution算子21:21，表示21个并行度间Shuffle...
Join
本文为您介绍Regular Join、Interval Join、Temporal Join和Lookup Join修改的可兼容性和不可兼容性详情。...Lookup Join Lookup Join的计算不涉及到状态，因此它的修改不会影响自身算子的状态兼容，但它的修改会影响其输出算子的兼容性。
Where
Where的计算不涉及到状态，因此它的修改不会影响自身算子的状态兼容，但它的修改会影响其输出算子的兼容性。如果需要通过修改Where条件来修正作业数据（例如过滤脏数据），在 其他配置 中添加如下配置，具体操作请参见 如何配置作业运行...
k-Core
一个图的k-Core是指反复去除度小于等于k的节点后所剩余的子图，k-Core组件能够输出该子图中每个节点所连接的其他节点。配置组件 方法一：可视化方式 在Designer工作流页面添加 k-Core 组件，并在界面右侧配置相关参数：参数类型 参数 描述 ...
自定义SQL
本文介绍自定义SQL算子的使用方法和注意事项。用途 当系统提供的内置算子无法满足需求时，用户...输出字段 配置该算子的输出字段，可手动编辑也可通过解析sql语句自动生成。自动解析的sql格式如图所示：这两个行将解析出如下两个字段信息：
数据去重
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
Kafka实时入湖
算子按照定义顺序执行，后面算子需要基于前面算子的输出字段来编写SQL函数。map算子类似SQL的select操作，由若干个SQL表达式逗号隔开组成，每个表达式必须包含通过as指定表达式别名。filter算子类似SQL的where语句，对前面的算子输出的字段...
算子探查（公测）
算子探查功能可以在不修改作业的情况下看到中间结果的输出，降低排查数据正确性错误的难度，提高人效和业务的连续性，减少重点实时业务的中断时间。本文为您介绍如何进行算子探查。背景信息 Flink作业运维时，会遇到产出结果不符合预期的...
输入和输出
一个父步骤的本地变量保存了其所有子步骤输出的合并，如果输出中有同名键值，则后执行步骤会覆盖前执行步骤的结果。在大多数情况下，您不需要指定输入和输出映射，而使用默认的映射行为。他们的转换关系如下：在不指定输入映射情况下，子...
新建脚本算子
在 配置输出信息 区域，单击 设置，定义算子的输出字段。在 配置变量信息 区域，单击 新增变量，配置算子的变量信息。在脚本编辑器右上角单击 保存，在弹出的对话框中单击 确定。界面提示保存成功，在脚本算子列表中可查看新建的脚本算子。...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
I-V曲线诊断
串联电阻增大后的老化影响如下：会降低整个光伏阵列的电流输出，降低发电功率，造成损失。会导致热耗散不均，在阵列中引起局部热点反应，影响阵列性能，缩短使用寿命。同时，电压电流的不稳定，会影响连接的电网和储能系统。并联电阻老化 ...
集成Serverless工作流
集成 Serverless 工作流 功能让您可以方便地在一个流程中执行另一个流程，本文介绍了集成 Serverless 工作流 的使用场景、集成模式、对象说明和子流程的输入输出规则。使用场景 在以下场景中可以考虑使用 Serverless 工作流 集成：降低流程...
数据正确性
常见的导致数据无输出的算子包括join、window或where。检查下游是否由于默认缓存机制缓存了数据 解决方案：排除作业的业务逻辑异常后，调整下游存储的 batchsize 的大小。重要 如果 batchsize 参数设置的过小，则可能会造成下游数据库 I/O ...
模板输出（Output）
另外若该模板作为子模板被嵌套时，父模板中嵌套该子模板的任务可以通过定义其任务输出参数来对子模板的输出进行引用，具体是通过ValueSelector筛选子模板的输出参数名，以此获得子模板的输出值，而此值则会作为任务输出参数的值，这样父...
Enclave CLI子命令说明
该子命令的输出就是Enclave运行时向标准输出打印的内容，无额外信息，故以下不再对命令输出进行说明。说明 仅可用于带有-debug-mode 参数启动的调试模式Enclave。用法 enclave-cli console-enclave-id参数说明 参数 是否必选 类型 说明-...
创建RAID阵列（Linux）
独立冗余磁盘阵列RAID（Redundant Array of Independent Disks）是将多块云盘按一定的方式组成一个磁盘阵列组。相比单块云盘，RAID能够有效地提高磁盘的容量、读写带宽、可靠性和可用性。前提条件 已按需创建并挂载多块具有相同容量和类型...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
SELECT TRANSFORM
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
子查询（EXISTS、IN、ANY、SOME、ALL）
因为EXISTS的返回结果只取决于是否有记录返回，而不是这些记录的内容，子查询的输出列表一般来说没什么意义。一般比较通用的编码约定是以EXISTS（SELECT 1 WHERE…）的形式写所有的EXISTS测试。当然，对于这个规则来说，也有些例外的情况，...
子查询表达式
因为结果只取决于是否会返回行，而不取决于这些行的内容，所以这个子查询的输出列表通常是无关紧要的。一个常用的编码习惯是用 EXISTS(SELECT 1 WHERE.)的形式写所有的 EXISTS 测试。不过这条规则有例外，例如那些使用 INTERSECT 的子查询...
一键诊断
您可以根据内存消耗、CPU消耗、输入输出数据量等字段对异常算子进行分析，或点击操作列的 诊断，查看算子所属的原始查询执行计划，进一步分析和确认算子的SQL语句、来源等信息。算子汇总信息 某些情况下，多个异常算子会导致资源消耗增大，...
计费项
算子与计费项的对应关系如下：算子 计费项 收费方 OSSMeta算子 GetRequest OSS MIME算子 不收费 无 FaceDetection算子 ImageFace 注*IMM LabelClassification算子（图片）ImageClassification 注*IMM LabelClassification算子（视频）...
前置准备
如果输出视频的长边大于1280或输出视频的短边大于720，则该输出视频属于更高的输出规格。视频码率 分辨率 使用指定的码率，单位：kbps。分辨率档位指定的码率如下所示：LD：100~800。SD：200~1500。HD：500~4000。2K：2000~8000。4K：4000~...
前置准备
如果输出视频的长边大于1280或输出视频的短边大于720，则该输出视频属于更高的输出规格。视频码率 分辨率 使用指定的码率，单位：kbps。分辨率档位指定的码率如下所示：LD：100~800。SD：200~1500。HD：500~4000。2K：2000~8000。4K：4000~...
HTTP返回
上一个节点输出的payload的子属性。某个前置节点的输出对象payload或其子属性。API的请求参数。变量值（已添加的全局或局部变量）。添加变量的详细内容请参见 添加变量。返回码 平台已提供了一系列默认返回码。支持增加自定义返回码，但...
应用推送
某个前置节点的输出对象 payload 或其子属性。变量值（已添加的全局或局部变量）。添加变量的详细内容，请参见 添加变量。节点输出 {"code":200，"data":[{从“输出”配置项中提取的对象}]，"message":"success"，"localizedMsg":"成功"}
概述
行为 和 输入输出 是所有算子都有的属性，描述了算子可以做什么及相应的接口。对于不可解释算子（如图像识别），仅需定义行为和输入输出即可；对于可解释算子（如算术运算、条件判断等），则需要定义 表达式 以及表达式之间的 关系。数据...
ANALYZE分析工具
统计内容与形式 兼容现有 EXPLAIN ANALYZE 的功能和语法，输出每个算子的执行状态，具体包括以下内容：算子执行时间，目前取该算子下所有PX Worker的最大执行时间。算子扫描的总行数，目前取该算子下所有PX Worker所扫描行数的累加和。算子...
算子介绍
Exchange Exchange是一个逻辑算子，本身不对计算过程中的数据做计算，只是将输入的数据做重分布后，输出给下游算子。一般重分布策略包括：SINGLETON：将上游多份数据进行合并输出，这种重分布策略等价于Gather。HASH_DISTRIBUTED：将上游...
Python脚本
输出桩 Python脚本组件共有4个输出端口，其中 输出端口1 和 输出端口2 是OSS路径输出端口，输出端口3 和 输出端口4 是MaxCompute表输出端口。OSS路径输出 该组件的 脚本设置 页签的 任务输出路径 参数配置的OSS路径，会被系统自动挂载到/ml...
DescribeDiagnosisSQLInfo-查看SQL语句的详细信息
OutputRows Integer 10 算子执行过程中输出的数据行数。InputRows Integer 1000 算子执行过程中输入的数据行数。Memory Float 100 算子占用内存，单位为 KB。StartTime String 1652843003000 算子开始执行的时间。EndTime String ...
Query Profiling Statistics
在特定情况下，为了排查与分析查询执行的异常状态，需要查看查询执行过程的细节数据，例如某一特定算子执行过程消耗的时间，输入输出的行数，占用的资源（内存，I/O）等。AnalyticDB PostgreSQL版 支持查询执行细节信息收集和记录，通过...
- 产品推荐
- 这些文档可能帮助您