这是我参与「第四届青训营 」笔记创作活动的第4天，笔记内容围绕「流式计算中的Window机制」课程展开，主要记录：流式计算与批式计算的对比，Window基本概念、介绍三个典型的Window
1.概述
1.1流式计算VS 批式计算
1.2批处理
- 批处理模型典型的数仓架构为T+1架构，即数据计算时天级别的，当天只能看到前一天的计算结果。
- 通常使用的计算引擎为Hive或者Spark等。计算的时候，数据是完全 ready的，输入和输出都是确定性的。
1.3处理时间窗口
- 实时计算:处理时间窗口
- 数据实时流动，实时计算，窗口结束直接发送结果，不需要周期调度任务。
2.Window
2.1Window概念
在数据源源不断、无穷无尽的情况下，想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。
在 Flink 中, 窗口就是用来处理无界流的核心。我们很容易把窗口想象成一个固定位置的
“框”，数据源源不断地流过来，到某个时间点窗口该关闭了，就停止收集数据、触发计算并输
出结果。例如，我们定义一个时间窗口，每 10 秒统计一次数据，那么就相当于把窗口放在那
里，从 0 秒开始收集数据；到 10 秒时，处理当前窗口内所有数据，输出一个结果，然后清空窗口继续收集数据；到 20 秒时，再对窗口内所有数据进行计算处理，输出结果；依次类推
2.2典型的Window
Window可以分成两类：
- CountWindow：按照指定的数据条数生成一个Window，与时间无关。
- TimeWindow：按照时间生成Window。
对于TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（Tumbling Window）、滑动窗口（Sliding Window）和会话窗口（Session Window）。
2.2.1 滚动窗口（Tumbling Window）
滚动窗口有固定的大小，是一种对数据进行“均匀切片”的划分方式。窗口之间没有重叠， 也不会有间隔，是 “首尾相接” 的状态。如果我们把多个窗口的创建，看作一个窗口的运动， 那就好像它在不停地向前“翻滚”一样。这是最简单的窗口形式，我们之前所举的例子都是滚 动窗口。也正是因为滚动窗口是“无缝衔接”，所以每个数据都会被分配到一个窗口，而且只会属于一个窗口。 滚动窗口可以基于时间定义，也可以基于数据个数定义；需要的参数只有一个，就是窗口 的大小（window size）。比如我们可以定义一个长度为 1 小时的滚动时间窗口，那么每个小时就会进行一次统计；或者定义一个长度为 10 的滚动计数窗口，就会每 10 个数进行一次统计。
2.2.2 滑动窗口（Sliding Window）
与滚动窗口类似，滑动窗口的大小也是固定的。区别在于，窗口之间并不是首尾相接的， 而是可以“错开”一定的位置。如果看作一个窗口的运动，那么就像是向前小步“滑动”一样。 既然是向前滑动，那么每一步滑多远，就也是可以控制的。所以定义滑动窗口的参数有两 个：除去窗口大小（window size）之外，还有一个“滑动步长”（window slide），它其实就代表了窗口计算的频率。滑动的距离代表了下个窗口开始的时间间隔，而窗口大小是固定的，所以也就是两个窗口结束时间的间隔；窗口在结束时间触发计算输出结果，那么滑动步长就代表了计算频率。例如，我们定义一个长度为 0.5 小时、滑动步长为 2 分钟的滑动窗口，那么就会统计0.5小时内的数据，每2分钟统计一次。同样，滑动窗口可以基于时间定义，也可以基于数据个数定义。
2.2.3 会话窗口（Session Window）
会话窗口顾名思义，是基于“会话”（session）来来对数据进行分组的。这里的会话类似 Web 应用中 session 的概念，不过并不表示两端的通讯过程，而是借用会话超时失效的机制来描述窗口。简单来说，就是数据来了之后就开启一个会话窗口，如果接下来还有数据陆续到来，那么就一直保持会话；如果一段时间一直没收到数据，那就认为会话超时失效，窗口自动关闭。需要定义的参数即为超时时间间隔。
