这是我参与「第四届青训营 」笔记创作活动的第1天
1. JobManager工作流程:
① Dispatcher 接收客户端提交的作业
② Dispatcher 为接收到的作业拉起一些JobMaster
③ JobMaster向ResourceManager申请一些资源(slot)(slot用来放Task,JobMaster负责管理一个作业的整个生命周期)
④ ResourceManager 会调用k8s或yarn的API拉起一些资源,这里拉起了两个TaskManager。(ResourceManager负责资源的管控)
⑤ TaskManager被拉起来之后就会向ResourceManager注册
⑥ ResourceManager收到了注册请求之后,知道有2个TaskManager了,就会把资源(slots)分配给这两个TaskManager
⑦ TaskManager拿到资源之后,JobMaster就会做Task的分配,部署到对应的TaskManager节点上