Hadoop集群启停命令、Web UI | 青训营笔记

173 阅读1分钟

这是我参与「第四届青训营 」笔记创作活动的第6天

Hadoop集群启停命令

手动逐个进程启停

每台机器上每次手动启动关闭一个角色进程,可以精准控制每个进程启停,避免群起群停。

HDFS集群

#hadoop2.x版本命令hadoop-daemon.sh start|stop 
namenode|datanode|secondarynamenode#hadoop3.x版本命令hdfs --daemon start|stop 
namenode|datanode|secondarynamenode

YARN集群

#hadoop2.x版本命令yarn-daemon.sh start|stop resourcemanager|nodemanager
#hadoop3.x版本命令yarn --daemon start|stop resourcemanager|nodemanager

shell脚本一键启停

在node1上,使用软件自带的shell脚本一键启动。前提:配置好机器之间的SSH免密登录和workers文件。

HDFS集群

start-dfs.sh stop-dfs.sh

YARN集群

start-yarn.sh stop-yarn.sh

Hadoop集群

start-all.sh stop-all.sh

image.png

进程状态、日志查看

启动完毕之后可以使用jps命令查看进程是否启动成功

image.png

Hadoop启动日志路径:/export/server/hadoop-3.3.0/logs/

image.png

HDFS集群

地址:http://namenode_host:9870

其中namenode_host是namenode运行所在机器的主机名或者ip

如果使用主机名访问,别忘了在Windows配置hosts

image.png

HDFS文件系统Web页面浏览

image.png

image.png

YARN集群

地址:http://resourcemanager_host:8088

其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip

如果使用主机名访问,别忘了在Windows配置hosts

image.png

Hadoop初体验

shell命令操作

hadoopfs-mkdir /itcast
hadoopfs-put zookeeper.out/itcast
hadoopfs-ls/

Web UI页面操作

image.png

MapReduce+YARN初体验

执行Hadoop官方自带的MapReduce案例,评估圆周率π的值。

image.png

image.png