Flink

186 阅读1分钟

运行时组件

任务提交流程(YARN)

任务调度原理

JobManager

集群管理者,负责调度任务、协调checkpoints、协调故障恢复、收集Job状态信息,并管理Flink集群中的从节点TaskManager。

TaskManager

实际负责执行计算的Worker,在其上执行Flink Job的一组Task;是所有节点的管理员,负责把该节点上的服务器信息比如内存、磁盘、任务运行情况等向JobManager汇报。

Client

用户提交编写好Flink工程时,先创建Client,Client根据用户传入的参数选择提交模式