hadoop系列（11）---Yarn资源调度

这是我参与11月更文挑战的第11天，活动详情查看：2021最后一次更文挑战」 Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入的集群资源管理系统。用户可以将各种服务框架部署在 YARN 上，由 YARN 进行统一地管理和资源分配。

在HDFS中如何使用yarn

hdfs中具体配置yarn的配置文件为 yarn-site.xml

具体参数配置说明：

yarn-site.xml配置说明

yarn-site.xml配置

<configuration>
<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->
<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
</property>
      <!--yarn 是否打开HA-->
		 <property>
		   <name>yarn.resourcemanager.ha.enabled</name>
		   <value>true</value>
		 </property>
      <!--yarn 打开了HA需要配zookeeper -->
		 <property>
		   <name>yarn.resourcemanager.zk-address</name>
		   <value>hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
		 </property>
     <!--resourcemanager 的集群id 可以自定义 下边定义为（jacquesh） -->
		 <property>
		   <name>yarn.resourcemanager.cluster-id</name>
		   <value>jacquesh</value>
		 </property>
    <!--resourcemanager 的节点id 可以自定义 下边定义为（rm1,rm2） -->
		 <property>
		   <name>yarn.resourcemanager.ha.rm-ids</name>
		   <value>rm1,rm2</value>
		 </property>
    <!--resourcemanager 的节点id为rm1 在哪个机子上运行服务-->
		 <property>
		   <name>yarn.resourcemanager.hostname.rm1</name>
		   <value>hadoop4</value>
		 </property>
    <!--resourcemanager 的节点id为rm2 在哪个机子上运行服务-->
		 <property>
		   <name>yarn.resourcemanager.hostname.rm2</name>
		   <value>hadoop2</value>
		 </property>
</configuration>

mapred-site.xml配置

<configuration>
   <!--mapreduce的执行方式转换为yarn 默认为local-->
		    <property>
		  	<name>mapreduce.framework.name</name>
			  <value>yarn</value>
		    </property>
</configuration>

hdfs-site.xml配置

   <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop4</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop4</value>
    </property>

#将上面的配置配置到hadoop的配置当中
#接下来使用scp拷贝到其他节点
scp yarn-site.xml hadoop2:`pwd`
scp yarn-site.xml hadoop3:`pwd`
scp yarn-site.xml hadoop4:`pwd`
scp mapred-site.xml hadoop2:`pwd`
scp mapred-site.xml hadoop3:`pwd`
scp mapred-site.xml hadoop4:`pwd`

接着需要在配置了开启resoucesManager的节点上开启resoucesManager服务
依据上方的配置分别为：
hadoop2：yarn-daemon.sh start resourcemanager
hadoop4：yarn-daemon.sh start resourcemanager

注意：启动和停止单个hdfs相关的进程使用的是"hadoop-daemon.sh"脚本，而启动和停止yarn使用的是"yarn-daemon.sh"脚本。

运行界面

                                                                                                                             HADOOP resoucesManager 运行界面