1、概述
1.1、基础架构
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而MR相当于运行在操作系统上的应用程序。
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。
-
ResourceManager
- 处理客户端请求
- 监控NodeManager
- 启动或监控ApplicationMaster
- 资源的分配与调度
-
NodeManager
- 管理单个节点上的资源
- 处理来自ResourceManager的命令
- 处理来自ApplicationMaster的命令
-
ApplicationMaster
- 为应用程序申请资源并分配给内部的任务
- 任务的监控与容错
-
Container
-
Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
-
1.2、Yarn工作机制
1.3、作业提交全流程
介绍HDFS、MR、YARN三者关系
1.4、调度器和调度算法
1.4.1、FIFO调度器
先进先出调度器：单队列，根据提交作业的先后顺序，先来先服务。
单队列容器阻塞后面的job
1.4.2、容量调度器（Capacity Scheduler）
Capacity Scheduler是Yahoo开发的多用户调度器。Apache Hadoop默认使用调度器。
特点：
-
多队列：每个队列可配置一定的资源量，每个队列采用FFO调度策略。该队列并不是严格的先进先出，只要一个job满足了资源需求，就可以立刻执行下一个job，无需前一个job出队后再执行下一个。因此，单个队列中也能够执行多个job。
-
容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
-
灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
-
多租户
- 支持多用户共享集群和多应用程序同时运行。
- 为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
资源分配原则
-
队列资源分配
- 从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。
-
作业资源分配
- 默认按照提交作业的优先级和提交时间顺序分配资源。
-
容器资源分配
-
按照容器的优先级分配资源
-
如果优先级相同，按照数据本地性原则：
- 任务和数据在同一节点
- 任务和数据在同一机架
- 任务和数据不在同一节点也不在同一机架
-
1.4.3、公平调度器（Fair Scheduler）
Fair Schedulere是Facebook开发的多用户调度器。
-
与容量调度器相同点
- 多队列：支持多队列多作业
- 容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
- 灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
- 多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
-
与容量调度器不同点
-
核心调度策略不同
- 容量调度器：优先选择资源利用率低的队列
- 公平调度器：优先选择对资源的缺额比例大的
-
每个队列可以单独设置资源分配方式
- 容量调度器：FIFO、DRF
- 公平调度器：FIFO、FAIR、DRF
-
缺额概念
- 公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
- 调度器会优先为缺额大的作业分配资源
队列资源分配方式
- FIFO策略：公平调度器每个队列资源分配策略如果选择FFO的话，此时公平调度器相当于上面讲过的容量调度器。
- Fair策略：Fire策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到12的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
具体资源分配流程和容量调度器一致：
- 选择队列
- 选择作业
- 选择容器
以上三步，每一步都是按照公平策略分配资源。
分配过程中需要参考以下几个参数（红色数字为例子）：
有个这几个参数后，队列的资源分配策略如下所示：
队列资源分配实操
作业资源分配实操
DRF策略
DRF(Dominant Resource Fairness)，我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。
那么在YARN中，我们用DRF来决定如何调度：
假设集群一共有100CPU和10T内存，而应用A需要(2CPU，300GB)，应用B需要(6CPU，100GB)。则两个应用分别需要A(2%CPU，3%内存)和B(6%CPU，1%内存)的资源，这就意味着A是内存主导的，B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源(CPU和内存)的一个不同比例的限制。
1.5、Yarn常用命令
- 列出所有Application
yarn application -list
- 列出所有Application（根据状态过滤：ALL、NEW、NEW SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）
yarn application -list -appStatus FINISHED
- kill 某个应用
yarn application -kill id
- 查看application日志
yarn logs -applicationId id
- 查看container日志
yarn logs -applicationId id -containerId -containerId
- 列出所有Application尝试的列表
yarn applicationattempt-list<ApplicationId>
- 列出所有Container
yarn container -list <ApplicationAttemptId>
- 查看所有节点
yarn node -list -all
- 更新配置
yarn rmadmin -refreshQueues
- 查看队列
yarn queue -status <QueueName>
1.6、Yarn生产环境核心配置参数
-
ResourceManager相关
- yarn.resourcemanager.scheduler.class 配置调度器，默认容量
- yarn.resourcemanager.scheduler.client.thread-count ResourceManager处理调度器请求的线程数量，默认50
-
NodeManager相关
- yarn.nodemanager.resource.detect-hardware-capabilities 是否让yarn自己检测硬件进行配置，默认false
- yarn.nodemanager.resource.count-logical-processors-as-cores 是否将虚拟核数当作CPU核数，默认false
- yarn.nodemanager.resource.pcores-vcores-multiplier 虚拟核数和物理核数乘数，例如：4核8线程，该参数就应设为2，默认1.0
- yarn.nodemanager.resource.memory-mb NodeManager使用内存，默认8G
- yarn.nodemanager.resource.cpu-vcores NodeManager使用cPU核数，默认8个
- yarn.nodemanager.pmem-check-enabled 是否开启物理内存检查限制container,默认打开
- yarn.nodemanager.vmem-check-enabled 是否开启虚拟内存检查限制container,默认打开
- yarn.nodemanager.vmem-pmem-ratio 虚拟内存物理内存比例，默认2.1
-
Container相关
- yarn.scheduler.minimum-allocation-mb 容器最最小内存，默认1G
- yarn.scheduler.maximum-allocation-mb 容器最最大内存，默认8G
- yarn.scheduler.minimum-allocation-vcores 容器最小CPU核数，默认1个
- yarn.scheduler.maximum-allocation-vcores 容器最大CPU核数，默认4个
