这是我参与「第四届青训营 」笔记创作活动的的第4天

2.4Flink如何做到流批一体的

2.4.1为什么需要流批一体？

• 一些业务场景，除了实时的数据统计需求，为了确认运营或产品的效果，用户同时还需要和历史数据做比较，比如，抖音一些直播数据的统计；

如果将批处理和流处理分开，则带来以下难点：

• 人力成本比较高：批、流两套系统，相同逻辑需要开发两遍；

• 数据链路冗余：本身计算内容是一致的，由于是两套链路，相同逻辑需要运行两遍，产生一定的资源浪费；

• 数据口径不一致：两套系统、两套算子、两套 UDF，通常会产生不同程度的误差，这些误差会给业务方带来非常大的困扰。

2.4.2流批一体的挑战

• 无限数据集 --> 有限数据集；
• 低延迟 --> 实时性要求不高；

2.4.3Flink如何实现流批一体

• 批式计算是流式计算的特例，Everything is Streams，有界数据集（批式数据）也是一种数据流、一种特殊的数据流；

• 站在 Flink 的角度，Everything is Streams，无边界数据集是一种数据流，一个无边界的数据流可以按时间切段成一个个有边界的数据集，所以有界数据集（批式数据）也是一种数据流。因此，不管是有边界的数据集（批式数据）还是无边界数据集，Flink 都可以天然地支持，这是 Flink 支持流批一体的基础。并且 Flink 在流批一体上，从上面的 API 到底层的处理机制都是统一的，是真正意义上的流批一体。

Apache Flink 主要从以下几个模块来做流批一体：

• SQL 层；
• DataStream API 层统一，批和流都可以使用 DataStream API 来开发；
• Scheduler 层架构统一，支持流批场景；
• Failover Recovery 层 架构统一，支持流批场景；
• Shuffle Service 层架构统一，流批场景选择不同的 Shuffle Service；