这几天因为一些小问题，又重温了一遍Hadoop分布式集群的搭建，又狠狠的锻炼了博主运维的能力。
前提：得先弄好HDFS和YARN分布式集群的搭建
废话不多说，那么下面正式开始运维吧
HDFS集群测试
- shell命令查看NameNode状态
bin/hdfs haadmin -getServiceState nn1
bin/hdfs haadmin -getServiceState nn2
如果你和我一样出师不利，遇到了nn1->standby，那么请参考 (143条消息) Hadoop集群 手动主备切换 （Active - Standby）_hadoop切换主节点_温岚万叶的博客-CSDN博客)
然后变成
一主一备，一个active，一个standby。
- Web查看NameNode状态(因为我是2.x系列版本，所以端口号是50070)
http://hadoop1:50070
http://hadoop2:50070
web UI访问：
YARN测试
- shell命令查看RM状态
bin/yarn rmadmin -getServiceState rm1
bin/yarn rmadmin -getServiceState rm2
- Web查看NameNode状态
http://hadoop1:8088
http://hadoop2:8088
Hadoop集群运维管理
- NameNode守护进程管理
1.下线操作
sbin/hadoop-daemon.sh stop namenode
2. 上线操作
sbin/hadoop-daemon.sh start namenode
- DataNode守护进程管理
- 下线操作
sbin/hadoop-daemon.sh stop datanode
4. 上线操作
sbin/hadoop-daemon.sh start datanode
- ResourceManager守护进程管理
- 下线操作
sbin/yarn-daemon.sh stop resourcemanager
2. 上线操作
sbin/yarn-daemon.sh start resourcemanager
- NodeManager守护进程管理
1.下线操作
sbin/yarn-daemon.sh stop nodemanager
2. 上线操作
sbin/yarn-daemon.sh start nodemanager
查看日志
查看日志
$ HADOOP_HOME/logs/hadoop-hadoop-namenode-hadoop1.log
$ HADOOP_HOME/logs/yarn-hadoop-resourcemanager-hadoop1.log
$ HADOOP_HOME/logs/hadoop-hadoop-datanode-hadoop1.log
$ HADOOP_HOME/logs/yarn-hadoop-nodemanager-hadoop1.log
清理临时文件
HDFS的临时文件路径：${hadoop.tmp.dir}/mapred/staging
本地临时文件路径：${mapred.local.dir}/mapred/local
定期执行负载均衡
脚本：sbin/start-balancer.sh -t 10%
-t：HDFS达到平衡状态的磁盘使用率偏差值。如果机器与机器之间磁盘使用率偏差小于10%，那么我们就认为HDFS集群已经达到了平衡的状态。
