这是我参与「第四届青训营」笔记创作活动的的第7天今天我学习了YARN资源管理与调度的相关知识。

1.YARN概述

1.1调度系统演进-调度系统发展的背景

IT 到DT时代的变革，注重数据价值;V数据计算方式的变革，注重计算效率;\

企业对外服务需数以万计的硬件资源;\

灵活调度、提高利用率是降本增效的关键问题;

V用有限资源解决有限资源无法满足的需求时就需要调度;

V调度系统主要解决资源请求和可用资源间的映射(Mapping)问题;

●Hadoop 1.0时代:

●可扩展性差

●可靠性差

●资源利用率低

●无法支持多种计算框架
●Hadoop 2.0时代:

●资源管理和任务控制解耦

YARN

(Yet Another Resource Negotiator)支持多种计算框架的统-资源管理平台

◆公平性:各租户能够公平的拿到资源运行任务

◆高性能:高调度吞吐、低调度延迟，保障资源快速流转

◆高可用:集群要具备很强的容错能力

◆大规模:单集群规模提升(原生YARN 5K)

◆高集群资源利用率◆高任务运行质量保障\

■Resource Manager
资源管理和调度
任务生命周期管理
对外进行交互

■Node Manager
提供集群资源
管理Container运行

Resource Manager

◆整体架构
◆主要职责
◆状态机管理
◆调度器分析
Node Manager

◆整体架构

◆主要职责

◆状态机管理

◆节点健康检测机制