Flink中JobManager的工作流程 | 青训营笔记

216 阅读1分钟

这是我参与「第四届青训营 」笔记创作活动的第1天

image.png

1. JobManager工作流程:

① Dispatcher 接收客户端提交的作业

② Dispatcher 为接收到的作业拉起一些JobMaster

③ JobMaster向ResourceManager申请一些资源(slot)(slot用来放Task,JobMaster负责管理一个作业的整个生命周期)

④ ResourceManager 会调用k8s或yarn的API拉起一些资源,这里拉起了两个TaskManager。(ResourceManager负责资源的管控)

⑤ TaskManager被拉起来之后就会向ResourceManager注册

⑥ ResourceManager收到了注册请求之后,知道有2个TaskManager了,就会把资源(slots)分配给这两个TaskManager

⑦ TaskManager拿到资源之后,JobMaster就会做Task的分配,部署到对应的TaskManager节点上