流式计算中的Window计算|青训营笔记

1.批处理：

T+1架构，天级计算，当天只能看到前一天的结果。常用计算引擎为Hiver或spark。

小时批计算：

处理时间窗口：实时计算，窗口结束直接发送结果，不需要周期调度任务。

事件时间窗口：数据实时进入到真实事件发生的窗口中进行计算，可以有效的处理数据延迟和乱序。

Watermark:在数据中插入一些watermark,来表现当前的真实时间。在数据乱序时，watermark可以在乱序容忍和实时性之间做一个平衡

2.Watermark

含义:表示系统认为的当前真实的事件时间。

生成：可以通过SQL和DataStream生成。

部分分区（partition/subtask)断流，解决方案：当某个subtask断流超过配置的idle超时时间时，将当前sudtask置为idle,并下发一个idle状态给下游，下游在计算watermark时，可以忽略掉当前是idle 的那些sudtask。

迟到数据处理：Window聚合，默认丢弃迟到数据。双流join,如果是outer join,则可以认为它不能join到任何数据。CEP,默认丢弃。

3.Window

滚动窗口：窗口划分：每个key单独划分。每条数据会落到不同的窗口。窗口触发：Window结束时间到达的时候一次性触发。

滑动窗口：窗口划分：每个key单独划分。每条数据会落到多个的窗口。窗口触发：Window结束时间到达的时候一次性触发。

会话窗口：窗口划分：每个key单独划分。每条数据会单独划分为一个窗口，如果window之间有交集，则会对窗口进行merge窗口。窗口触发：Window结束时间到达的时候一次性触发。

迟到数据处理：

①Allow lateness:设置一个允许迟到的时间，在窗口正常结束后，不会马上清理状态，而是多保留allow lateness这么长的时间，这段时间到来的数据还是按照之前的状态进行计算。

②SideOutput:对迟到数据打一个tag ,然后在Datastream上根据tag获取迟到数据流，在业务层面自行选择进行处理。

窗口模型：

增量计算：每条数据直接进行计算，window只存储计算结果。

全量计算：每条数据到来，会存储到window的state中，等window触发计算时，将所有数据拿出来一起计算。（例：process函数）

EMIT输出：在window还没有结束的时候，提前把window计算的部分结果输出来。

window-高级优化

Mini-batch优化：解决中间结果偏多；状态访问频繁的问题。

倾斜优化-local-global

Distinct计算状态复用降低状态量

Pane优化降低滑动窗口的状态存储量

4.计算抖音的日活曲线 通过一个窗口计算dau 开一个实时输出

计算大数据任务的资源使用