1.YARN的产生和发展
YARN的设计思路
YARN的全程 Yet Another Resource Negotiator
- 将 资源管理 和 作业监控 拆分出独立的进程
- 资源管理和应用无关，每个应用有单独的作业监控进程
YARN的基本组成
ResourceManager
全局的资源管理器，负责整个系统的资源管理和分配
- 处理客户端请求
- 启动/监控ApplicationMaster
- 监控NodeManager
- 资源分配和调度
NodeManager
节点管理器 驻留在一个YARN集群中的每个节点上的代理
- 单个节点的资源管理
- 处理来自ResourceManger的命令
- 处理来自ApplicationMaster的命令
ApplicationMaster
应用程序管理器，负责系统中所有应用程序的管理工作
- 数据切分
- 为应用程序申请资源，并进行分配
- 任务监控和容错
三者的关系
基本工作流
- client 请求
