Hadoop之历史服务器配置

Hadoop集群中配置历史服务器（History Server）的原因主要有以下几点：

1. 日志记录和分析：历史服务器可以存储和展示集群运行过程中的日志信息，这对于监控、分析和调试Hadoop作业非常重要。通过历史服务器，用户可以轻松查看已经完成的MapReduce作业记录，包括使用的Map数、Reduce数、作业提交时间、启动时间和完成时间等详细信息。
2. 故障排除和性能调优：当作业运行出现问题时，历史服务器可以帮助开发者快速定位问题所在。同时，通过对作业运行历史的分析，用户可以发现性能瓶颈并进行相应的优化。
3. 集中管理和查看任务日志：开启日志聚合功能后，历史服务器可以集中管理和查看任务日志，提供更方便的故障排除和性能调优方式。这对于开发和运维人员来说非常有用。

具体配置步骤如下：

配置marped-site.xml

[muyi@hadoop102 hadoop]$ vim mapred-site.xml 


<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

分发配置

[muyi@hadoop102 hadoop]$ xsync mapred-site.xml

开启yarn

[muyi@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh 
Starting resourcemanager
Starting nodemanagers
[muyi@hadoop103 hadoop-3.1.3]$ jps
3504 Jps
3029 ResourceManager
3205 NodeManager
2774 DataNode
[muyi@hadoop103 hadoop-3.1.3]$

在hadoop102启动历史服务器

[muyi@hadoop102 hadoop-3.1.3]$ jps
4680 NameNode
5323 NodeManager
4845 DataNode
5470 Jps
[muyi@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver
[muyi@hadoop102 hadoop-3.1.3]$ jps
5522 JobHistoryServer
4680 NameNode
5323 NodeManager
4845 DataNode
5583 Jps
[muyi@hadoop102 hadoop-3.1.3]$ 

测试

[muyi@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /output

点击history,可以看到任务运行情况