流计算中的Window计算 | 青训营笔记

用户6967181523519
84 阅读5分钟

流计算中的Window计算 | 青训营笔记

这是我参与「第四届青训营 」笔记创作活动的的第3篇笔记

一、Watermark机制

1. 处理时间&事件时间：

处理时间:数据在流式计算系统中真正处理时所在机器的当前时间。
事件时间:数据产生的时间，比如客户端、传感器、后端代码等上报数据时的时间。
实际生活中，处理时间比事件时间有一定延迟。

2.事件时间窗口：

数据实时进入到真实事件发生的窗口中进行计算，可以有效的处理数据延迟和乱序。

3. 什么是Watermark？

表示系统认为的当前真实的事件时间.
在数据存在乱序的时候，watermark 就比较重要了，它可以用来在乱序容忍和实时性之间做一个平衡。

4. 如何传递Watermark ?

取上游所有传递给它的Watermark数值的最小值来作为它本身Watermark的数值，同时给它所有的下游去传递它的Watermark数值

5.典型问题

（1）Per-partition Vs per-subtask watermark生成

Per-subtask watermark生成

早期版本都是这种机制。典型的问题是如果一个source subtask消费多个partition，那么多个partition之间的数据读取可能会加剧乱序程度。

多个分区之间有可能读取的速度不一样，延迟的程度也可能不一样而导致加剧乱序程度

Per-partition watermark生成

新版本引入了基于每个partition单独的watermark生成机制，这种机制可以有效避免上面的问题。

（2）部分partition/subtask断流

根据上面提到的 watermark传递机制，下游subtask会将上游所有subtask 的 watermark值的最小值作为自身的 watermark值。如果上游有一个subtask 的 watermark 不更新了，则下游的watermark都不更新。

解决方案:Idle source

当某个subtask断流超过配置的 idle超时时间时，将当前subtask置为idle，并下发一个idle 的状态给下游。下游在计算自身watermark 的时候，可以忽略掉当前是idle的那些subtask。

（3）迟到数据处理

因为watermark表示当前事件发生的真实时间，那晚于watermark的数据到来时，系统会认为这种数据是迟到的数据。

算子自身来决定如何处理迟到数据︰

  • Window聚合，默认会丢弃迟到数据
  • 双流join，如果是outer join，则可以认为它不能join到任何数据
  • CEP，默认丢弃

二、Window机制

1.基本功能

(1)Window分类

典型的Window :

  1. Tumble Window（滚动窗口)
  2. Sliding Window（滑动窗口）
  3. Session Window（会话窗口)

其它Window :

1.全局Window

2.Count Window

3．累计窗口

4..

(2)典型窗口的介绍

  1. 滚动窗口

窗口划分：

1．每个key单独划分

2.每条数据只会属于一个窗口

窗口触发:

Window结束时间到达的时候一次性触发

  1. 滑动窗口

窗口划分:

1.每个key单独划分

2每条数据可能会属于多个窗口

窗口触发:

Window结束时间到达的时候一次性触发

  1. 会话窗口

窗口划分∶

1.每个key单独划分

2.每条数据会单独划分为一个窗口,如果window之间有交集,则会对窗口进行merge

滚动窗口和滑动窗口是固定窗口，理解：数据到来的时候，根据数据的时间就能之间确定它所属的窗口且这个窗口是不会变的。而会话窗口的窗口划分是一个动态过程，数据到来时可能会和之前窗口合并

窗口触发:

Window结束时间到达的时候一次性触发

(3) 迟到数据处理

  1. 怎么定义迟到?

一条数据到来后，会用 WindowAssigner 给它划分一个window，一般时间窗口是一个时间区间，比如[10:00,11:00)，如果划分出来的window end 比当前的watermark值还小，说明这个窗口已经触发了计算了，这条数据会被认为是迟到数据。

  1. 什么情况下会产生迟到数据？

只有事件时间下才会有迟到的数据。

  1. 迟到数据默认处理?

丢弃

  1. 处理计算
  1. Allow lateness

这种方式需要设置一个允许迟到的时间。设置之后，窗口正常计算结束后，不会马上清理状态，而是会多保留allowLateness这么长时间，在这段时间内如果还有数据到来，则继续之前的状态进行计算。

适用于:DataStream、SQL

  1. SideOutput(侧输出流)

这种方式需要对迟到数据打一个tag，然后在DataStream 上根据这个tag 获取到迟到数据流，然后业务层面自行选择进行处理。

适用于:DataStream

(4) 增量VS全量计算

1. 增量计算:
    每条数据到来，直接进行计算，window只存储计算结果。
    比如计算sum，状态中只需要存储sum的结果，不需要保存每条数据。
    典型的reduce、aggregate等函数都是增量计算。SQL中的聚合只有增量计算
2. 全量计算:
    每条数据到来,会存储到window的state中。
    等到window触发计算的时候，将所有数据拿出来一起计算。
    典型的process函数就是全量计算

(5) EMIT触发

    1. 什么叫EMIT ?
            通常来讲，window都是在结束的时候才能输出结果，比如1h的 tumble window，只有在1个小时结束的时候才能统一输出结果。
            如果窗口比较大，比如1h或者1天，甚至于更大的话，那计算结果输出的延迟就比较高，失去了实时计算的意义。
            EMIT 输出指的是，在window没有结束的时候，提前把window计算的部分结果输出出来。
    2. 怎么实现?
            在DataStream里面可以通过自定义Trigger来实现，Trigger的结果可以是:
                -CONTINUE
                -FIRE(触发计算，但是不清理)
                -PURGE
                -FIRE_AND_PURGE
            SQL也可以使用，通过配置:
                - table.exec.emit.early-fire.enabled=true
                - table.exec.emit.early-fire.delay={time}

2.高级优化

1. Mini-batch 优化解决频繁访问状态的问题
2. local-global优化解决倾斜问题
3. Distinct状态复用降低状态量
4. Pane优化降低滑动窗口的状态存储量
avatar
文章
阅读
粉丝