运行时组件
Flink 运行时架构主要包括以下四个不同的组件，它们会在运行流处理应用程序时协同工作：
分发器（Dispatcher）:可以跨作业运行，它为应用提交提供了 REST 接口。当一个应用被提交执行时，分发器就会启动并将应用移交给一个 JobManager。 由于是 REST 接口，所以 Dispatcher 可以作为集群的一个 HTTP 接入点，这样就能够不受防火墙阻挡。Dispatcher 也会启动一个 Web UI，用来方便地展示和监控作业执行的信息（Dispatcher 在架构中可能并不是必需的，这取决于应用提交运行的方式）。作业管理器（JobManager）:控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。 JobManager 会先接收到要执行的应用程序， 这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的 JAR 包。JobManager 会把 JobGraph 转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有可以并发执行的任务。JobManager 会向资源管理器（ResourceManager）请求执行任务必要的资源，也就是任务管理器（TaskManager）上的插槽（slot）。一旦它获取到了足够的资源，就会将执行图分发到真正运行它们的TaskManager 上。而在运行过程中，JobManager 会负责所有需要中央协调的操作，比如说检查点（checkpoints）的协调。资源管理器（ResourceManager）:主要负责管理任务管理器（TaskManager）的插槽（slot），TaskManger 插槽是 Flink 中定义的处理资源单元。 Flink 为不同的环境和资源管理工具提供了不同资源管理器，比如YARN、 Mesos、 K8s， 以及 standalone 部署。 当 JobManager 申请插槽资源时， ResourceManager 会将有空闲插槽的 TaskManager 分配给 JobManager。 如果 ResourceManager 没有足够的插槽来满足 JobManager 的请求，它还可以向资源提供平台发起会话，以提供启动 TaskManager 进程的容器。另外，ResourceManager 还负责终止空闲的 TaskManager，释放计算资源。任务管理器（TaskManager）:Flink 中的工作进程。通常在 Flink 中会有多个 TaskManager 运行，每一个 TaskManager都包含了一定数量的插槽（slots）。 插槽的数量限制了 TaskManager 能够执行的任务数量。 启动之后，TaskManager 会向资源管理器注册它的插槽；收到资源管理器的指令后，TaskManager 就会将一个或者多个插槽提供给 JobManager 调用。JobManager 就可以向插槽分配任务（tasks）来执行了。在执行过程中，一个 TaskManager 可以跟其它运行同一应用程序的 TaskManager 交换数据。
整体来说，Flink采用了标准 master-slave 的结构。Master 部分包含 Dispatcher、ResourceManager 和 JobManager三大组件，Slave部分主要是指TaskManager。
任务提交
Flink任务提交 后首先会启动一个 Client进程负责作业的编译与提交，它首先将用户编写的代码编译为一个 JobGraph（会进行一些检查或优化等工作，例如判断哪些 Operator 可以 Chain 到同一个 Task 中）。
然后，Client 将产生的 JobGraph 提交到集群中执行。此时有两种情况，一种是类似于 Standalone 这种 Session 模式，AM 会预先启动，此时 Client 直接与 Dispatcher 建立连接并提交作业即可。另一种是 Per-Job 模式，AM 不会预先启动，此时 Client 将首先向资源管理系统 （如Yarn）申请资源来启动 AM，然后再向 AM 中的 Dispatcher 提交作业。
Flink on Yarn（Per-Job）
Flink 任务提交后 ， Client 向 HDFS 上 传 Flink 的 Jar 包和配置 ， 之后向 Yarn ResourceManager 提交任务 ， ResourceManager 分配 Container 资源并通知对应的 NodeManager 启动 Dispatcher(上图省略) &与 ApplicationMaster，ApplicationMaster 启动后加载 Flink 的 Jar 包和配置构建环境， 然后启动 JobManager，之后 ApplicationMaster 向 ResourceManager 申请资源启动 TaskManager ， ResourceManager 分配 Container 资源后 ， 由ApplicationMaster 通知资源所在节点的 NodeManager 启动 TaskManager ，NodeManager 加载 Flink 的 Jar 包和配置构建环境并启动 TaskManager， TaskManager 启动后向 JobManager 发送心跳包，并等待 JobManager 调度向其分配任务。
参考链接
关注公众号 数据工匠记 ，专注于大数据领域离线、实时技术干货定期分享！个人网站 www.lllpan.top
