这是我参与「第四届青训营」笔记创作活动的第2天
本节课程目录：
- 数据流和动态表
- Exactly-Once 和 Checkpoint
- 端到端 Exactly-Once 实现
- Flink 案例讲解
1. 数据流和动态表
1.1 随处可见的流式数据
1.2 传统 SQL 和流处理
- 实时流的查询特点
- 查询从不终止
- 查询结果会不断更新，并且会产生一个新的动态表
- 结果的动态表也可转换成输出的实时流
1.3 概述 - 数据流和动态表转换
下图显示了单击事件流如何转换为表。当插入更多的单击流记录时，结果表将不断增长。
动态表与表示批处理数据的静态表不同，动态表是随时间变化的。可以像查询静态批处理表一样查询他们。数据库表是 INSERT、UPDATE 和 DELETE DML 语句的 stream 的结果，通常称为 changelog stream。
1.4 连续查询
- 查询从不终止
- 查询结果会不断更新，产生一个新的动态表
- 在任何时候，连续查询的结果在语义上与批处理模式在输入表快照上执行的相同查询的结果相同。
1.5 查询产生仅追加数据的动态表
1.6 上述两个连续查询对比
虽然这两个示例查询看起来非常相似（都计算分组计数聚合），但它们在一个重要方面不同：
- 第一个查询更新先前输出的结果，即定义结果表的 changelog 流包含 INSERT 和 UPDATE 操作；
- 第二个查询只附加到结果表，即结果表的 changelog 流只包含 INSERT 操作。
1.7 Retract 消息的产生
1.8 状态
需要存储每个用户的 URL 计数，以便能够增加该计数并在输入表接收新行时发送新结果。
1.9 数据流和动态表转换回顾
- 数据流和动态表之间的转换
- 在数据流的查询不会终止
- 查询可能会有状态，用来不断更新查询的结果
1.10 不同数据处理保证的语义
一致性保证语义
- At-most-once：出现故障时，啥也不做。每条数据消费至多一次，数据处理不保证任何语义，处理延迟低。
- At-least-once：保证每条数据消费至少一次，一条数据可能存在重复消费
- Exactly-once：最严格的处理语义，从输出结果来看，每条数据都被消费且仅被消费一次，仿佛故障从未发生。
2. Exactly-Once 和 Checkpoint
2.1 状态快照与恢复
2.2 制作快照的时间点
- 状态恢复的时间点：需要等待所有处理逻辑消费完成 source 保留状态及之前的数据
- 一个简单的快照制作算法：
- 暂停处理输入的数据；
- 等待后续所有处理算子消费当前已经输入的数据；
- 待上一步处理完后，作业所有算子复制自己的状态并保存到远端可靠存储；
- 恢复对输入数据的处理。
2.3 Chandy - Lamport 算法
2.3.1 快照制作的开始
每一个 source 算子都接受到 JM 发送的 Checkpoint Barrier 标识状态快照制作的开始
2.3.2 Source 算子的处理
各个 source 保存自己状态后，向所有连续的下游继续发送 Checkpoint Barrier，同时告知 JM 自己状态已经制作完成。
2.3.3 Barrier Alignment
- 算子会等待所有上游的 barrier 到达后才开始快照的制作；
- 已经制作完成的上游算子会继续处理数据，并不会被下游算子制作快照的过程阻塞。
2.3.4 快照制作和处理数据的解耦
2.3.5 Checkpoint 的结束
所有算子都告知 JM 状态制作完成后，整个Checkpoint 就结束了。
2.4 Checkpoint 对作业性能的影响
- 解耦了快照制作和数据处理过程，各个算子制作完成状态快照后就可以正常处理数据，不用等下游算子制作完成后要回快照。
- 在快照制作和 Barrier Alignment 过程中需要暂停处理数据，仍然会增加数据处理延迟。
- 快照保存到远端也有可能极为耗时。
3. Flink 端到端的 Exactly - once 语义
3.1 端到端 Exactly - once 语义
- Chectpoint 能保证每条数据都对各个有状态的算子更新一次，sink 输出算子仍然可能下发重复的数据；
- 严格意义的端到端的 Exactly - once 语义需要特殊的 sink 算子实现。
3.2 两阶段提交协议（2PC）
在多个节点参与执行的分布式系统中，为了协调每个节点都能同时执行或者回滚某个事务性的操作，引入了一个中心节点来统一处理所有节点的执行逻辑，即协作者 Coordinator，同步和协调所有节点处理逻辑的中心节点。而其他被中心节点调度的其他执行处理逻辑的业务节点，即为参与者 Participant。
3.2.1 两阶段提交协议（一）预提交阶段
- 协作者向所有参与者发送一个 commit 消息
- 每个参与的协作者收到消息后，执行事务，但不真正提交
- 若事务成功执行完成，发送一个成功的信息 (vote yes)；执行失败，则发送一个失败的消息 (vote no)
3.2.2 两阶段提交协议（二）提交阶段
若协作者成功接收到所有的参与者 vote yes 的消息
- 协作者向所有参与者发送一个 commit 消息
- 每个收到 commit 消息的参与者释放执行事务所需的资源，并结束这次事务的执行
- 完成步骤2后，参与者发送一个 ack 消息给协作者
- 协作者收到所有参与者的 ack 消息后，标识该事务执行完成
若协作者有收到参与者 vote no 的消息（或者发生等待超时）
- 协作者向所有参与者发送一个 rollback 消息
- 每个收到 rollback 消息的参与者回滚事务的执行操作，并释放事务所占资源
- 完成步骤2后，参与者发送一个 ack 消息给协作者
- 协作者收到所有参与者的 ack 消息后，标识该事务成功完成回滚
3.3 Flink 中 2PC Sink
- Flink 中协作者和参与者的角色分配
- 协作者 JobManager 发起阶段一提交
- 各算子 Checkpoint 的制作
- 提交阶段及 Checkpoint 的制作完成
3.4 Flink 两阶段提交总结
- 事务开启：在 sink task 向下游写数据之前，均会开启一个事务，后续所有写数据的操作均在这个事务中执行，事务未提交前，事务写下的数据下游不可读。
- 预提交阶段：JobManager 开始下发 Checkpoint Barrier，当各个处理逻辑接收到 barrier 后停止处理后续数据，对当前状态制作快照，此时 sink 也不在当前事务下继续处理数据（处理后续的数据需要新打开下一个事务）。状态制作成功则向 JM 成功的信息，失败则发送失败的信息。
- 提交阶段：若 JM 收到所有预提交成功的信息，则向所有处理逻辑（包括 sink ）发送可以提交此次事务的信息，sink 接收到此消息后，则完成此次事务的提交，此时下游可以读到这次事务写入的数据；若 JM 有收到预提交失败的消息，则通知所有处理逻辑回滚这次事务的操作，此时 sink 则丢弃这次事务提交的数据。
4. Flink 案例讲解
4.1 账单计算服务
场景简介
从 Kafka 中读取账单信息，进行处理后写入到 MySQL 中
当前方案
执行步骤：
- 在上次记录的位点之后，从 kafka 中读取固定大小的数据
- 对该批数据进行去重和聚合计算
- 处理完成后写入 MySQL 中，若全部写入成功，则记录下当前读取到的消息的终止位置；若处理或者写入失败，则不记录位点；
- 跳回步骤1。
存在的问题
- 非严格意义上的端到端的 Exactly - once 语义：若该批数据处理完成后，在写入 MySQL 中发生异常，则存在部分数据写入的情况，下次作业启动后，这部分数据仍然会重复写入。
- 去重能力有限：只能在当前处理的一批数据内进行去重，无法在批与批之间进行去重。
Flink 解决方案
优势：
- 严格意义上的端到端的 Exactly - once 语义：下游读到的数据是不丢不重的。
- 增强的去重能力：可以在更长的时间维度对数据进行去重。
课程总结
- 数据流可以转换成动态表，动态表也能重新转化成数据流
- 处理无线数据流的算子可以是有状态的
- Flink 通过 Checkpoint 机制实现故障前后的状态快照制作和恢复
- 支持两阶段提交协议的下游存储可以结合 Flink Checkpoint 机制实现严格意义上端到端的 Exactly - once 语义实现
