HDFS安全模式以及HDFS主备切换

1,300 阅读1分钟
1、首先根据Hadoop 权威指南中原话:安全模式基本几位了HDFS文件是只读的,一般刚开启namenode节点的时候会处于安全模式,此时打开50070端口网页会提示:NameNode is still loading. Redirecting to the Startup Progress page,自检完成后会自动退出安全模式,网页会恢复正常。

57f50c9edc2f4b98a9e4bca0f08b2d62.jpg

2、安全模式常用命令 查看HDFS有哪些节点处于安全模式: hdfs dfsadmin -safemode get

进入安全模式:hdfs dfsadmin -safemode enter

退出安全模式: hdfs dfsadmin -safemode leave

3、今天一个slave硬盘满了,发生错误导致master上的namenode停止了,自动切换到standby上,重启master上nn进程后,需要切换回去,查到一个强制切换命令:hdfs haadmin -transitionToActive --forcemanual nn1 nn1为hdfs-site.xml中自定义的master名称,因为强制切换主备后有可能发生脑裂场景,所以先对两个namenode节点开启安全模式,再运行上述命令,但是我的本地虚拟机搭建的测试环境因为docker安装不能用了,没有测试不敢直接在线上用,所以用的之前测试过的笨方法:先kill掉standby上的namenode进程,让DFSZKFailoverController自动切到master,再重新开启standby上的nn进程,切换完如果时间充足可以让nn节点自检完毕后自动退出安全模式,如果时间比较紧张,也可以稍等一会手动退出命令行。

4、备注 在其他博客看到一些后续处理,没有验证,放这大家注意一下,可以验证后评论告诉大家 请输入图片描述