这是我参与「第四届青训营 」笔记创作活动的的第4天
一、概述
批处理
批处理模型典型的数仓架构为T+1架构，即数据计算时天级别的 ，当天只能看到前一天的计算结果。 通常使用的计算引擎为Hive或者Spark等。计算的时候，数据是完全ready的，输入和输出都是确定性的。
处理时间窗口
实时计算:处理时间窗口
数据实时流动，实时计算，窗结束直接发送结果，不需要周期调度任务。
处理时间VS事件时间
处理时间:数据在流式计算系统中真正处理时所在机器的当前时间。
事件时间:数据产生的时间，比如客户端、传感器、后端代码等上报数据时的时间。
事件时间窗口
实时计算:事件时间窗口
数据实时进入到真实事件发生的窗口中进行计算，可以有效的处理数据延迟和乱序。
小结
批式计算一般是T+1的数仓架构
数据实时性越高，数据的价值越高
实时计算分为处理时间和事件时间
事件时间需要Watermark配合来处理乱序
二、Watermaker机制
什么是watermark？
答：表示系统认为的当前真实的事件时间
Per-partition VS per-subtask watermark生成
Per-subtask watermark生成
早期版本都是这种机制。典型的问题是如果一个source subtask消费多个partition,那么多个partition之间的数据读取可能会加剧乱序程度。
Per-partition watermark生成
新版本引入了基于每个partition单独的watermark生成机制，这种机制可以有效避免上面的问题。
部分partition/subtask断流
根据上面提到的watermark传递机制，下游subtask会将上游所有subtask的watermark值的最 小值作为自身的watermark值。如果上游有一个subtask的watermark不更新了，则下游的 watermark都不更新。
解决方案: Idle source
当某个subtask断流超过配置的idle超时时间时，将当前subtask置为idle，并下发一个idle的状 态给下游。下游在计算自身 watermark的时候，可以忽略掉当前是idle的那些subtask。
迟到数据处理
因为watermark表示当前事件发生的真实时间，那晚于watermark的数据到来时，系统会认为这种 数据是迟到的数据。
算子自身来决定如何处理迟到数据:
- Window聚合，默认会丢弃迟到数据
- 双流join，如果是outer join，则可以认为它不能join到任何数据
- CEP，默认丢弃
三、Window
Window分类
典型的Window :
- Tumble Window (滚动窗口)
- Sliding Window ( 滑动窗口)
- Session Window ( 会话窗口)
其它Window :
- 全局Window
- Count Window
- 累计窗口
滚动窗口
窗口划分:
- 每个key单独划分
- 每条数据只会属于一个窗口
窗口触发:
Window结束时间到达的时候一次性触发
滑动窗口
窗口划分:
- 每个key单独划分
- 每条数据可能会属于多个窗口
窗口触发:
Window结束时间到达的时候一次性触发
会话窗口
窗口划分:
- 每个key单独划分
- 每条数据会 单独划分为一个窗口，如果windowz间有交集，则会对窗口进行merge
窗口触发:
Window结束时间到达的时候一-次性触发
怎么定义迟到?
一条数据到来后，会用WindowAssigner给它划分一个window，一般时间窗口是一个时间区间，比如10:00, 11:00，如果划分出来的window end比当前的watermark值还小,说明这个窗口已经触发了计算了，这条数据会被认为是迟到数据。
什么情况下会产生迟到数据?
只有事件时间下才会有迟到的数据。
迟到数据默认处理?
丢弃
迟到数据的处理
- Allow lateness
这种方式需要设置一个允许迟到的时间。设置之后，窗口正常计算结束后，不会马上清理状态.而是会多保留llowl ateness这么长时间，在这段时间内如果还有数据到来，则继续之前的状态进行计算。适用于: DataStream、SQL
- SideOutput (侧输出流)
这种方式需要对迟到数据打一个tag，然后在DataStream上根据这个tag获取到迟到数据流,然后业务层面自行选择进行处理。适用于: DataStream
增量VS全量计算
增量计算:
- 每条数据到来，直接进行计算，window只存储计算结果。
- 比如计算sum，状态中只需要存储sum的结果，不需要保存每条数据。
- 典型的reduce. aggregate等函数都是增量计算
- SQL中的聚合只有增量计算
全量计算:
- 每条数据到来，会 存储到window的state中。等到window触发计算的时候，将所有数据拿出来一起计算。
- 典型的process函数就是全量计算
EMIT触发
什么叫EMIT?
通常来讲，window都是在结束的时候才能输出结果，比如1h的tumble window，只有在1个小时结束的时候才能统一实时计算的意义。
EMIT输出指的是，在window没有结束的时候，提前把window计算的部分结果输出出来。
怎么实现?
在DataStream里面可以通过自定义Trigger来实现，Trigger的结果可以是:
- CONTINUE
- FIRE ( 触发计算，但是不清理)
- PURGE
- FIRE_ AND PURGE
SQL也可以使用，通过配置:
- table.exec.emit.early-fire.enabled=true
- table.exec.emit.early-fire delay={time}
