这是我参与「第四届青训营 」笔记创作活动的第6天
Hadoop集群启停命令
手动逐个进程启停
每台机器上每次手动启动关闭一个角色进程,可以精准控制每个进程启停,避免群起群停。
HDFS集群
#hadoop2.x版本命令hadoop-daemon.sh start|stop
namenode|datanode|secondarynamenode#hadoop3.x版本命令hdfs --daemon start|stop
namenode|datanode|secondarynamenode
YARN集群
#hadoop2.x版本命令yarn-daemon.sh start|stop resourcemanager|nodemanager
#hadoop3.x版本命令yarn --daemon start|stop resourcemanager|nodemanager
shell脚本一键启停
在node1上,使用软件自带的shell脚本一键启动。前提:配置好机器之间的SSH免密登录和workers文件。
HDFS集群
start-dfs.sh stop-dfs.sh
YARN集群
start-yarn.sh stop-yarn.sh
Hadoop集群
start-all.sh stop-all.sh
进程状态、日志查看
启动完毕之后可以使用jps命令查看进程是否启动成功
Hadoop启动日志路径:/export/server/hadoop-3.3.0/logs/
HDFS集群
地址:http://namenode_host:9870
其中namenode_host是namenode运行所在机器的主机名或者ip
如果使用主机名访问,别忘了在Windows配置hosts
HDFS文件系统Web页面浏览
YARN集群
地址:http://resourcemanager_host:8088
其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip
如果使用主机名访问,别忘了在Windows配置hosts
Hadoop初体验
shell命令操作
hadoopfs-mkdir /itcast
hadoopfs-put zookeeper.out/itcast
hadoopfs-ls/
Web UI页面操作
MapReduce+YARN初体验
执行Hadoop官方自带的MapReduce案例,评估圆周率π的值。