流式计算的windows机制 | 青训营笔记

小叶要努力
126 阅读1分钟

image.png

这是我参与「第四届青训营 」笔记创作活动的的第4天

课程目的：
1．了解实时计算和批式计算的本质区别，以及实时计算所带来的新的机遇和挑战
2．了解实时计算中的核心功能:Watermark机制、 Window机制
3.了解3大基本窗口类型的定义、使用以及核心原理
4．了解窗口机制中的最核心的优化及其原理
5．以上学习内容均会结合最前沿的企业实践进行讲解

G)7QE_IL_1Y(KEZP0QYI9.png

1.概述

1.1流式计算VS批式计算 数据价值：实时性越高，数据价值越高

L)%V6X}E}%}K)@HNG}5IQ.png

1.2批处理 批处理模型典型的数仓架构为T+1架构，即数据计算时天级别的，当天只能看到前一天的计算结果。通常使用的计算引擎为Hive或者Spark等。计算的时候，数据是完全ready的，输入和输出都是确定性的。

image.png

1.2.1. 小时级批计算

9(G~Z05M9PT$0B94U)S3VRY.png 存在问题： 1.批计算存在申请＋调度，这种周期计算的过程。这个过程本身比较消耗资源。 2.线上的数仓任务，计算的时间长度都是几分钟到几小时不等，数仓的建模是分层的。 数据的产生到完成在1h内很有可能做不到。

1.3 处理时间窗口 数据实时流动，实时计算，窗口结束直接发送结果，不需要周期调度任务。

1.4 处理时间VS事件时间 处理时间：数据在流式计算系统中真正处理时所在机器的当前时间。
事件时间：数据产生的时间，比如客户端、传感器、后端代码等上报数据时的时间。

image.png

1.5事件时间窗口 实时计算：事件事件窗口 数据实时进入到真实事件发生的窗口中进行计算，可以有效的处理数据延迟和乱序。

什么时候窗口才算结束？

![WNH_J]EM5)}V157O2VYLRI.png 1.6 Watermark

![7}R0{_IT908$`ZU[NX43E1E.png](p3-juejin.byteimg.com/tos-cn-i-k3…?

2.Watermark

2.1什么是watermark？ 表示系统认为的当前真实的事件时间

2.2 如何产生？

AZTG{[~_]407EVQC{7X_NAS.png

2.3如何传递Watermark？ SouceTask、maptask、windowtask 每个有两个并行度一个souce可以消费上游两个mq分区 每一个算子根据上游输入的watermark的最小值来决定自己的数值，同时又需要给它的下游去传递watermark数值

~UT3)VS2ZRJVF7))8LDS8CX.png

开发Flink Window事件时间开发窗口的程序，为什么有数据输入没有数据输出？

第一时间怀疑你的watermark是否正常，可通过Flink UI 观察 watermark

{2YQO5{1XILP[G]K7_7D%3W.png

3.window

3.1 window分类

典型的Window 1.Tumble Window（滚动窗口） 2.Sliding Window（滑动窗口） 3.Session Window（会话窗口）

其他Window： 1.全局Window 2.Count Window 3.累计窗口

P`%N~HYJ$Q6IUPAQ5{~VN0A.png 3.1.1 滚动窗口

I%D({}KPY7`77B%U9K12HKN.png

3.1.2 滑动窗口

image.png

3.1.3 会话窗口

2(C97{3{NOA56P8X6P_R1NW.png

3.2 迟到数据处理

怎么定义迟到? 一条数据到来后，会用 WindowAssigner 给它划分一个window，一般时回窗口是一个时同区间么a比如[10:00,11:00)，如果划分出来的 window end 比当前的watermark 值还小，说明这个窗口已经触发了计算了，这条数据会被认为是迟到数据。
什么情况下会产生迟到数据?
只有事件时间下才会有迟到的数据。
迟到数据默认处理?
丢弃

1.Allow lateness 这种方式需要设置一个允许迟到的时间。设置之后，窗口正常计算结束后，不会马上清理状态，而是会多保留allowLateness这么长时间，在这段时间内如果还有数据到来，则继续之前的状态进行计算。(适用于:DataStream、SQL)

2.SideOutput(侧输出流) 这种方式需要对迟到数据打一个tag，然后在DataStream 上根据这个tag 获取到迟到数据流，然后业务层面自行选择进行处理。(适用于:DataStream)

image.png

3.3 增量VS全量计算

增量计算: -每条数据到来，直接进行计算，window只存储计算结果。比如计算sum，状态中只需要存储sum的结果，不需要保存每条数据。

-典型的reduce、aggregate等函数都是增量计算

  • SQL中的聚合只有增量计算

image.png 全量计算∶ -每条数据到来，会存储到window的state中。等到window触发计算的时候，将所有数据拿出来一起计算。

-典型的process函数就是全量计算

image.png

3.4 EMIT触发

√什么叫EMIT ?

通常来讲，window都是在结束的时候才能输出结果，比如1h的tumble window，只有在1个小时结束的时候才能统一输出结果。
如果窗口比较大，比如1h或者1天，甚至于更大的话，那计算结果输出的延迟就比较高，失去了实时计算的意义.EMIT输出指的是，在window没有结束的时候，提前把window计算的部分结果输出出来。

怎么实现?

在DataStream里面可以通过自定义Trigger来实现，Trigger的结果可以是:

  • CONTINUE
  • -FIRE（触发计算，但是不清理)
  • PURGE
    • FIRE_AND_PURGE
  • SQL也可以使用，通过配置︰
    • table.exec.emit.earlv-fire enahled-true
    • table.exec.emit.early-fire.delay={time}

4.案例分析

需求一：使用Flink SQL计算抖音的日活曲线

image.png table.exec.emit.early-fire.enabled=true
table.exec.emit.early-fire.delay=5min\

看起来简单，但实际不现实

image.png table.exec.emit.early-fire.enabled=true
table.exec.emit.early-fire.delay=5min
table.exec.window.allow-retract-input=true

通过两阶段聚合来把数据打散，完成第一轮聚合，第二轮聚合只需要对各个分桶的结果求和即可。

需求二：使用Flink SQL计算大数据任务的资源使用

问题描述︰大数据任务（特指离线任务）运行时通常会有多个container启动并运行，每个container在运行结束的时候，YARN会负责将它的资源使用（CPU、内存）情况上报。一般大数据任务运行时间从几分钟到几小时不等。 需求:根据YARN上报的各个container的信息，在任务结束的时候，尽快的计算出一个任务运行所消耗的总的资源。假设前后两个container结束时间差不超过10min

image.png 典型的可以通过会话窗口来将数据划分到一个window中，然后再将结果求和即可。

K$LGTLT0P1O%2WJJ95U2~OF.png

avatar
文章
阅读
粉丝