Flink批处理优化器之Interesting Properties
Interesting Properties（以下简称IP）用来表述在对生成的计划进行分析时一些可能对优化产生重要影响的属性。网络上关于IP的资料并不多，但在Flink的论文里多次出现，Flink在它的一些论文中声明其借鉴自《Goetz Graefe. The Volcano Optimizer G...
Flink批处理优化器之成本估算
成本估算 在基于成本的优化器中，成本估算非常重要，它直接影响着候选计划的生成。在Flink中成本估算依赖于每个不同的运算符所提供的自己的“预算”，本篇我们将分析什么是成本、运算符如何提供自己的预算以及如何基于预算估算成本。 什么是成本 Flink以类Costs来定义成本，它封装了一些成本估算的因素同...
Flink批处理优化器之范围分区重写
为最终计划应用范围分区重写 Flink的批处理程序允许用户使用partitionByRange API来基于某个（或某些）字段进行按范围分区且可以选择性地指定排序顺序，示例代码如下： final ExecutionEnvironment env = ExecutionEnvironment.getE...
Flink批处理优化器之范围分区重写采用算法
采样算法 上一篇我们分析了RangePartitionRewriter的数据处理分支，接下来我们开始分析采样分支，采样分支的核心在于采样算法。因为范围分区输入端每个分区的数据量无从得知，也就是说我们无法得出采样比例。此时，如果先对每分区内的所有数据进行遍历，再记录出数据总量会显得很低效，因此Flin...
浅谈Flink批处理优化器之Join优化
跟传统的关系型数据库类似，Flink提供了优化器“hint”（提示）以告诉优化器选择一些执行策略。目前优化提示主要针对批处理中的连接（join）。在批处理中共有三个跟连接有关的转换函数： join：默认为等值连接（Equi-join），维基百科将其归类为内连接（inner join）的一种 http...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
