大数据4-yarn

·  阅读 210

1.YARN的产生和发展

YARN的设计思路

YARN的全程 Yet Another Resource Negotiator

  • 将 资源管理 和 作业监控 拆分出独立的进程
  • 资源管理和应用无关,每个应用有单独的作业监控进程

image.png

YARN的基本组成

ResourceManager

全局的资源管理器,负责整个系统的资源管理和分配

  • 处理客户端请求
  • 启动/监控ApplicationMaster
  • 监控NodeManager
  • 资源分配和调度

image.png

NodeManager

节点管理器 驻留在一个YARN集群中的每个节点上的代理

  • 单个节点的资源管理
  • 处理来自ResourceManger的命令
  • 处理来自ApplicationMaster的命令

image.png

ApplicationMaster

应用程序管理器,负责系统中所有应用程序的管理工作

  • 数据切分
  • 为应用程序申请资源,并进行分配
  • 任务监控和容错

image.png

三者的关系

image.png

基本工作流

image.png

  1. client 请求

2.YARN的基本设计思想

3.资源调度器

4.YARN的高级特性

5.YARN和K8S

分类:
阅读
标签: