流式计算中的Window机制 | 青训营笔记

爱情码头
112 阅读6分钟

这是我参与「第四届青训营」笔记创作活动的的第4天

一、概述

1.1流式计算VS批式计算

image.png

1.2批处理

批处理模型典型的数仓架构为架，即数据计算时天级别的，当天只能看到前一天的计算结果。通常使用的计算引擎为Hive或者Spark等。计算的时候，数据是完全ready的，输入和输出都是确定性的。

1.3处理时间窗口

实时计算:处理时间窗口

数据实时流动，实时计算，自口结束直接发送结果，不需要周期调度任务。

1.4处理时间VS事件时间

处理时间:数据在流式计算系统中真正处理时所在机器的当前时间。

事件时间:数据产生的时间，比如客户端、传感器、后端代码等上报数据时的时间。

1.5事件的时间窗口

实时计算:事件时间窗口

数据实时进入到真实事件发生的商口中进行计算，可以有效的处理数据延迟和乱序。

1.6Watermark

在数据中插入一些Watermark，来表示当前的真实时间。

image.png 在数据存在乱序的时候，Watermark就比较重要了，它可以用来在乱序容忍和实时性之间做一个平衡。

image.png

二、Watermark

2.1什么是 Watermark？

表示系统认为的当前真实的时间时间

2.2如何产生 Watermark？

SQL：

CREATE TABLE Orders (
    user BIGINT,
    product STRING,
    order_ time TIMESTAMP(3),
    WATERMARK F0R order_ time AS order_ time - INTERVAL '5' SECOND
) WITH (...);

DataStream:

WatermarkStrategy
        .<Tuple2<Long. String>>forBoundedOutOfOrderness (Duration. ofSeconds (20))
        .withTimestampAss igner( (event, timestamp) -> event. f0);

2.3如何传递 Watermark？

image.png

2.4如何通过Flink UI观察Watermark？

image.png

image.png

  • 典型问题一(Per-partition VS per-subtask watermark生成)

Per-subtask watermark生成

早期版本都是这种机制。典型的问题是如果一个source subtask消费多个partition.那么多个 partition之间的数据读取可能会加剧乱序程度。

Per-partition watermark生成

新版本引入了基于每个partition单独的watermark生成机制，这种机制可以有效避免上面的问题。

  • 典型问题二(部分partition/subtask断流)

根据上面提到的watermark传递机制，下游 subtask会将上游所有subtask的watermark值的最小值作为自身的watermark值。如果上游有一个subtask的watermark不更新了,则下游的watermark都不更新。

解决方案: ldle source

当某个subtask断流超过配置的idle超时时间时，将当前subtask置为idle,并下发一个idle的状态给下游。下游在计算自身 watermark的时候，可以忽略掉当前是idle的那些subtask。

  • 典型问题三（迟到数据处理）

因为watermark表示当前事件发生的真实时间，那晚于watermark的数据到来时，系统会认为这种数据是迟到的数据。

算子自身来决定如何处理迟到数据:

  1. Window聚合，默认会丢弃迟到数据

  2. 双流join,如果是outer join,则可以认为它不能join到任何数据

  3. CEP，默认丢弃

三、Window

3.1 Window 分类

  • Tumble Window (滚动窗口)

窗口划分:

  1. 每个key单独划分
  2. 每条数据只会属于一个窗口

窗口触发:Window结束时间到达的时候次性触发

image.png

  • Sliding Window (滑动窗口)

窗口划分:

  1. 每个key单独划分
  2. 每条数据可能会属于多个窗口 窗口触发:Window结束时间到达的时候一次性触发

image.png

  • Session Window (会话窗口)

窗口划分:

  1. 每个key单独划分
  2. 每条数据会单独划分为一个空口，如果window之间有交生，则会对窗口进行merge

窗口触发:Window结束时间到达的时候一次性触发

image.png

  • 迟到数据处理
  1. Allow lateness （适用于: DataStream、SQL）

这种方式需要设一个允许迟到的时间。设之后，窗口正常计算结束后，不会马上清理状态，而是会多保留allowl ateness这么长时间，在这段时间内如果还有数据到来，则继续之前的状态进行计算。

  1. SideOutput (侧输出流)（适用于: DataStream） 这种方式高要对退到数据打一个tag,然后在DataStream上根据这个tag获取到迟到数据流，然后业务层面自行选择进行处理。
  • 增量 VS 全量计算
  1. 增量计算:

每条数据到来，古接进行计并，window只存储计方结果。比如计算sum,状态中只需要存储sum的结果，不需要保存每多数据。

典型的reduce、aggregate等函数都是增量计算

SQL中的聚合只有增量计算

  1. 全量计算:

由每条数据到来，会存储到wind ow的state中。等到window触发计算的时候，格所有数据拿出来一起计算。

典型的process函数就是全量计算

  • EMIT触发

什么叫EMIT?

通常来讲，window 都是在结束的时候才能输出结果，比如1 h的tumble window.只有在1个小时结 柬的时候才能统一输出结果。

如果窗口比较大，比如1h或者1天，甚至于更大的话，那计算结果输出的延迟就比较高，失去了实时计算的意义。

EMIT输出指的是，在window没有结束的时候，提前把window计算的部分结果输出出来。

怎么实现?

在DataStream里面可以通过自定义Trigger来实现，Trigger的结果可以是:

CONTINUE

FIRE (触发计算，但是不清理)

PURGE

FIRE AND PURGE

SQL也可以使用，通过配置:

table.exec.emit.early- fire.enabled-true

table.exec.emit.early fire.delay-{time}

3.2 Window-高级优化

Mini-batch优化

image.png

image.png

倾斜优化-local-global

image.png

Distinct 计算状态复用

image.png

Pane 优化

image.png image.png

四、案例分析

  • 使用Flink SQL计算抖音的日活曲线
SELECT
SUM(partial_ _cnt) as dau
TUMBLE_ START(event_ _time, INTERVAL '1' DAY) as wstart,
LOCALTIMESTAMP as current_ _ts
FROM (
SELECT
COUNT(DISTINCT uid) as partial_ cnt,
TUMBLE_ ROWTIME (event_ time, INTERVAL '1' DAY) as event_ _time 
FROM user_ _activity
GROUP BY
TUMBLE(event_ _time, INTERVAL, '1' DAY),
MOD(uid，10000) --根据uid分为10000个桶
GROUP BY TUMBLE(event_ time, INTERVAL '1' DAY)
table.exec.emit.early-fire.enabled=true
table.exec.emit.early-fire.delay= 5min
table. exec. window. allow-retract-input=true

通过两阶段聚合来把数据打散，完成第一轮聚合，第二轮聚合只需要对各个分桶的结果求和即可。

  • 使用Flink SQL计算大数据任务的资源使用

问题描述: 大数据任务(特指离线任务)运行时通常会有多个container启动并运行，每个container在运行结束的时候，YARN会负责将它的资源使用(CPU、内存)情况上报。般大数据任务运行时间从几分钟到几小时不等。

需求: 根据YARN上报的各个container的信息，在任务结束的时候，尽快的计算出一个任务运行所消耗的总的资源。

假设前后两个container结束时间差不超过10min

SELECT
application_ id !
SUM(cpu_ usage) as cpu_ total
SUM (memory_ usage) as memory_ total,
FROM resource_ usage
GROUP BY
application_ id,
SESSION( event_ t ime, INTERVAL ' 10' MINUTE)

典型的可以通过会话窗来将数据划分到一个window中，然后再将结果求和即可。

avatar
文章
阅读
粉丝