这是我参与「第四届青训营」笔记创作活动的的第12天

Flink概述

Flink脱颖而出的原因

Flink开源生态

Flink整体架构

Flink分层架构

SDK层：主要有三类， SQL/Table、 DataStream、 Python 执行引擎层（Runtime层）：提供统一的DAG, 用来描述数据处理的Pipeline，不管是流还是批，都会转化为DAG图，调度层再把DAG转化为分布式环境下的Task，Task之间通过Shuffle传输数据状态存储层：负责存储算子的状态信息资源调度层：Flink可以支持部署在多种环境

Flink总体架构

为Master/Slave架构 JobMassager/TaskManager

JobManager(JM):负责整个任务的协调工作

调度task、触发协调Task作Checkpoint、协调容错恢复等

TaskManager(TM):负责一个DataFlow Graph的各个task以及data streams的buffer和数据交换

Flink如何做到流批一体

为什么需要流批一体
- 一些业务场景，除了实时的数据统计需求，为了确认运营或产品的效果，用户同时还需要和历史数据做比较，比如，抖音一些直播数据的统计；
- 这种架构有一些痛点：
  - 人力成本比较高：批、流两套系统，相同逻辑需要开发两遍；
  - 数据链路冗余：本身计算内容是一致的，由于是两套链路，相同逻辑需要运行两遍，产生一定的资源浪费；
  - 数据口径不一致：两套系统、两套算子、两套 UDF，通常会产生不同程度的误差，这些误差会给业务方带来非常大的困扰。
流批一体的挑战
- 批式计算相比于流式计算核心的区别：
  - 无限数据集 --> 有限数据集；
  - 低延迟 --> 实时性要求不高；
Flink 如何做到流批一体
- 批式计算是流式计算的特例，Everything is Streams，有界数据集（批式数据）也是一种数据流、一种特殊的数据流；
- 站在 Flink 的角度，Everything is Streams，无边界数据集是一种数据流，一个无边界的数据流可以按时间切段成一个个有边界的数据集，所以有界数据集（批式数据）也是一种数据流。因此，不管是有边界的数据集（批式数据）还是无边界数据集，Flink 都可以天然地支持，这是 Flink 支持流批一体的基础。并且 Flink 在流批一体上，从上面的 API 到底层的处理机制都是统一的，是真正意义上的流批一体。
- Apache Flink 主要从以下几个模块来做流批一体：
  - SQL 层；
  - DataStream API 层统一，批和流都可以使用 DataStream API 来开发；
  - Scheduler 层架构统一，支持流批场景；
  - Failover Recovery 层架构统一，支持流批场景；
  - Shuffle Service 层架构统一，流批场景选择不同的 Shuffle Service；

流/批/OLAP 一体的 Flink 引擎介绍| 青训营笔记