流式计算中的Window计算|青训营笔记
这是我参与「第四届青训营 」笔记创作活动的第4天
一、复习前一天的主要知识点
在Flink实现Exactly Once语义以及Checkpoint
1、Exactly Once和Checkpoint的基本概念
- Application Consistency Guarantees: 作业一致性保证
- At-most-once：每条数据消费至多一次
- At-least-once：每条数据消费至少一次
- Exactly-once: 每条数据都被消费且仅被消费一次
- Checkpoint: Flink 实现各个计算逻辑状态快照算法，也可指一次状态快照
- Checkpoint barrier: 用于标识状态快照的制作，也将数据划分成不同的消费区间
- Checkpoint Alignment: 等待多个上游的Checkpoint barrier到达的现象
- JobManager: 负责协调和管理 Checkpoint
2、 Exactly Once和Checkpoint
（1）一致性保证语义
- At-most-once：每条数据消费至多一次，处理延迟低
- At-least-once：每条数据消费至少一次，一条数据可能存在重复消费
- Exactly-once：每条数据都被消费且仅被消费一次，仿佛故障从未发生
（2）Checkpoint
- Checkpoint barrier 的下发
- 算子状态制作和 barrier 传递
- 多个上游的等待 barrier 对齐现象
- Checkpoint 并不阻塞算子数据处
- Checkpoint ACK和制作完成
（3）端到端 Exactly-Once 实现
- 两阶段提交协议（2PC）
- oordinator：协作者，同步和协调所有节点处理逻辑的中心节点
- Participant：参与者，被中心节点调度的其他执行处理逻辑的业务节点
两阶段提交协议在Flink中的应用 - Flink 中协作者和参与者的角色分配
- 协作者（JobManager）发起阶段一提交
- 各算子 Checkpoint 的制作
- 提交阶段及 Checkpoint 的制作完成
详见我的上一篇笔记Exactly-Once在Flink中的实现|青训营笔记
二、流式计算中的Window计算以及Watermark的相关知识
1、流式计算 VS 批式计算
数据价值：实时性越高，数据价值越高
| 特性 | 批式计算 | 流式计算 |
|---|---|---|
| 数据存储 | HDFS、Hive | Kafka、Pulsar |
| 数据时效性 | 天级别 | 分钟级别 |
| 准确性 | 精准 | 精准和时效性之间取舍 |
| 典型计算引擎 | Hive、Spark、Flink | Flink |
| 计算模型 | Exactly-Once | At Least Once/Exactly-Once |
| 资源模型 | 定时调度 | 长期持有 |
| 主要场景 | 离线天级别的数据报表 | 实时数仓、实时营销、实时风控 |
处理时间：数据在流式计算系统中真正处理时所在机器的当前时间
事件时间：数据产生的时间，比如客户端，传感器，后端代码等上报数据时的时间
2、Watermark
Watermark定义： 当前系统认为的事件时间所在的真实时间。 Watermark产生： 一般是从数据的事件时间来产生，产生策略可以灵活多样，最常见的包括使用当前事件时间的时间减去一个固定的delay，来表示可以可以容忍多长时间的乱序。 Watermark传递： 类似于Checkpoint的制作过程，传递就类似于Checkpoint的barrier，上下游task之间有数据传输关系的，上游就会将watermark传递给下游；下游收到多个上游传递过来的watermark后，默认会取其中最小值来作为自身的watermark，同时它也会将自己watermark传递给它的下游。
3、Window的基本概念、分类
- TUMBLE Window （滚动窗口）： 根据数据的时间（可以是处理时间，也可以是事件时间）划分到它所属的窗口中
windowStart = timestamp - timestamp % windowSize，这条数据所属的window就是[windowStart, windowStart + windowSize) - HOP Window （滑动窗口）： TUMBLE窗口是每条数据只会落在一个窗口中。在HOP窗口中，每条数据是可能会属于多个窗口的（具体属于多少，取决于窗口定义的大小和滑动）。
- SESSION Window （会话窗口）： 会话窗口的话，是一个动态merge的过程。一般会设置一个会话的最大的gap，比如10min。那某个key下面来第一条数据的时候，它的window就是 event_time, event_time + gap)，当这个key后面来了另一条数据的时候，它会立即产生一个窗口，如果这个窗口跟之前的窗口有overlap的话，则会将两个窗口进行一个merge，变成一个更大的窗口，此时需要将之前定义的timer取消，再注册一个新的timer。
迟到数据： 定义迟到数据晚于Watermark就算迟到 不是数据的时间晚于watermark就算是迟到，而是它所属的窗口已经被触发了，才算迟到
迟到数据处理:
1.Allow laterness
使用side output方式，把迟到的数据转变成一个单独的流，再由用户自己来决定如何处理这部分数据
2. 直接drop掉
推荐文章：
DataStream Window 官方文档
SQL Window 官方文档
DataStream 中对于 Watermark 的介绍
ps:笔记记得很早发布的很晚
