Exactly Once 语义在Flink中的实现 | 青训营笔记

这是我参与「第四届青训营」笔记创作活动的的第5天

我们在之前学习了Flink引擎的基本架构，知道了在一般的大数据开发中会有流、批、OLAP等业务场景，也稍微了解了Flink是如何做到流批一体的，今天我们来学Exactly Once语义在Flink中的实现。

数据流和动态表

在我们的日常生活中，流式数据随处可见，它是一种源源不断的数据，而在一般的数据表中存储的数据肯定是有限的，这就会产生矛盾。这里我们先讲解一下SQL和流处理的区别：

所以，就需要来让流和表能互相转换来处理，动态表为此产生了

首先我们来介绍一下动态表，

与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询它们

之后在用户的每一次使用动态表就会变长，记录用户的操作行为，所以是动态的

动态表的产生离不开连续查询：

连续查询从不中止

查询结果会不断更新，产生一个新的动态表、

在任何时候，连续查询的2结果在语义上与以批处理模式在输入表快照上执行的相同查询的结果相同。

也可以查询产生仅追加数据的动态表

在数据查询中，有时不可避免地会出现错误，不同地处理错误的方式，就会产生不同的语义

同时也解释了标题中的Exactly Once语义是什么意思。

当出现错误时系统就要重启，回到之前的状态，这时我们就需要一个状态作为快照，让系统的恢复有依据。这个时间点当然不能任意去一个时间点，而是需要等待所有处理逻辑消费完成source保留状态及之前的数据，

每一个source算子都接收到JM发送的CheckpointBarrier表示状态快照制作的开始

各个source保存自己状态后，向所有连接的下游继续发送Checkpoint Barrier，同时告知JM自己状态已经制作完成

算子会等待所有上游的barrier到达后才开始快照的制作；已经制作完成的上有算子会继续处理数据，并不会被下游算子制作快照的过程阻塞

所有算子都告知JM状态制作完成后，整个Checkpoint就结束了

在多个结点参与执行的分布式系统中，为了协调每个节点都能同时执行或者回滚某个事务性的操作，引入了一个中心结点来统一处理所有节点的执行逻辑，这个中心节点叫做协作者（coordinator），被中心节点调度的其他业务节点叫做参与者（participant）

当写作和成功接收到所有的参与者 vote yes的消息：