【Hadoop部署】hadoop-3.1.3 集群版（附：集群启动&停止Shell脚本）hadoop-3.1.3 集群版

本文已参与「新人创作礼」活动，一起开启掘金创作之路。

说明

搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。集群搭建跟单机版本的差别只体现在配置文件上，然后就是将文件同步给其他集群服务器。

在这里插入图片描述

1.前置条件【每台服务器】

Hadoop 的运行依赖 jdk 我原本安装的是 openjdk11【由于yarn报错，换回了jdk8】。

[root@hadoop001 logs]# java -version
java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

2.配置免密登录【每台服务器】

Hadoop 组件之间需要基于 SSH 进行通讯。

2.1 配置映射

配置 ip 地址和主机名映射：==很关键==通过ifconfig查询本机的ip地址，这个地方没有配置正确的话节点会有问题。

vim /etc/hosts
xxx.xx.x.x hadoop001 hadoop001
xxx.xx.x.x hadoop002 hadoop002
xxx.xx.x.x hadoop003 hadoop003

2.2 生成公私钥

执行下面命令行生成公匙和私匙：

[root@hadoop001 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:BtWqdvRxf90QPhg5p2OOIBwgEGTu4lxAd92icFc5cwE root@tcloud
The key's randomart image is:
+---[RSA 2048]----+
|+*...o. +Eo...   |
|+ .o...= =..+ o  |
| o  o.+...+  B . |
|. .  .o.+ . * +  |
|.. .   +So * o oo|
|+ .   o.. o . . +|
| o   . .       . |
|                 |
|                 |
+----[SHA256]-----+

2.3 授权

进入 /root/.ssh/ 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件：

[root@hadoop001 .ssh]# ll
total 16
-rw------- 1 root root  786 Jul  6 11:57 authorized_keys
-rw-r--r-- 1 root root    0 Jul  5 11:06 config
-rw-r--r-- 1 root root    0 Jul  5 11:06 iddummy.pub
-rw------- 1 root root 1679 Jul 27 17:42 id_rsa
-rw-r--r-- 1 root root  393 Jul 27 17:42 id_rsa.pub
-rw-r--r-- 1 root root 1131 Jul  6 13:31 known_hosts

# 写入公匙到授权文件
[root@hadoop001 .ssh]# cat id_rsa.pub >> authorized_keys
[root@hadoop001 .ssh]# chmod 600 authorized_keys

2.4 集群间免密登录

# 1.生成密钥对
# 在每台主机上使用  ssh-keygen 命令生成公钥私钥对【上边已介绍】
[root@tcloud ~]# ssh-keygen -t rsa

# 2.免密登录
# 将hadoop001 的公钥写到本机和远程机器的  ~/ .ssh/authorized_key 文件中：
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop003

# 3.验证免密登录
ssh hadoop002
ssh hadoop003

3.HDFS环境搭建

3.1 解压

# 解压安装包并移动到/usr/local/下
tar -zxvf hadoop-3.1.3.tar.gz
mv ./hadoop-3.1.3 /usr/local/

3.2 配置环境变量【每台服务器】

配置环境变量的方法比较多，这里统一将环境变量放在 /tec/profile.d/my_env.sh 内。

# 配置环境变量：
vim /etc/profile.d/my_env.sh
# 添加 Hadoop的PATH要配置上bin和sbin
export HADOOP_HOME=/usr/local/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
# 使得配置的环境变量立即生效：
	# 首先是要赋权限【只操作一次就行】
	chmod +x /etc/profile.d/my_env.sh
source /etc/profile.d/my_env.sh

3.3 修改配置

进入 ${HADOOP_HOME}/etc/hadoop 目录下，修改配置文件。各个配置文件内容如下：

hadoop-env.sh

# 指定JDK的安装位置
export JAVA_HOME=/usr/java/jdk1.8.0_201/

core-site.xml

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

hdfs-site.xml

    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop001:9870</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop003:9868</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop002</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<!-- 以下参数要根据服务器情况进行配置-->    
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
	<!-- 开启日志聚集功能 -->
	<property>
 	   <name>yarn.log-aggregation-enable</name>
  	  <value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
	    <name>yarn.log.server.url</name>  
  	  <value>http://hadoop001:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
	<!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop001:10020</value>
    </property>
	<!-- 历史服务器web端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node245:19888</value>
    </property>
</configuration>

slaves 特别注意：hadoop3.0 以后 slaves 变为 workers。配置所有从属节点的主机名或 IP 地址，每行一个。所有从属节点上的 DataNode 服务和NodeManager 服务都会被启动。

hadoop001
hadoop002
hadoop003

修改启动和停止shell脚本

[root@hadoop001 hadoop]# vim /usr/local/hadoop-3.1.3/sbin/start-dfs.sh
[root@hadoop001 hadoop]# vim /usr/local/hadoop-3.1.3/sbin/stop-dfs.sh

start-dfs.sh，stop-dfs.sh 这两个文件顶部添加以下参数：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

[root@hadoop001 hadoop]# vim /usr/local/hadoop-3.1.3/sbin/start-yarn.sh
[root@hadoop001 hadoop]# vim /usr/local/hadoop-3.1.3/sbin/stop-yarn.sh

start-yarn.sh，stop-yarn.sh 这两个文件顶部添加以下参数：

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

3.4 关闭防火墙【每台服务器】

不关闭防火墙可能导致无法访问 Hadoop 的 Web UI 界面【使用云服务器还需要在安全组内开启端口】也会影响集群间的通讯：

# 查看防火墙状态
[root@hadoop001 hadoop]# firewall-cmd --state
not running
# 如果是开启状态，关闭防火墙:
[root@hadoop001 hadoop]# systemctl stop firewalld.service

3.5 分发程序

将 Hadoop 安装包分发到其他两台服务器，分发后要在hadoop002、hadoop003服务器上也配置一下 Hadoop 的环境变量、映射、组件间的免密登录。

# 将安装包分发到hadoop002
scp -r /usr/local/hadoop-3.1.3/ hadoop002:/usr/local/
# 将安装包分发到hadoop003
scp -r /usr/local/hadoop-3.1.3/ hadoop003:/usr/local/

3.5 初始化【hadoop01】

在 Hadoop001 上执行 namenode 初始化命令：

[root@hadoop001 bin]# ./hdfs namenode -format

3.6 启动集群

进入到 Hadoop001 的 ${HADOOP_HOME}/sbin 目录下，启动 Hadoop。此时 hadoop002 和 hadoop003 上的相关服务也会被启动：

# hadoop001启动dfs服务
[root@hadoop001 sbin]# ./start-dfs.sh
# hadoop002启动yarn服务
[root@hadoop002 sbin]# ./start-yarn.sh

以下是启动和停止shell脚本【启动脚本要赋予可执行权限】：

#!/bin/bash
if [ $# -ne 1 ]
then
  echo "args number is error!!!"
  exit
fi

case $1 in
"start")
      echo "============启动hadoop集群================"

      echo "---------------启动hdfs------------------"
      ssh hadoop001 $HADOOP_HOME/sbin/start-dfs.sh
      echo "---------------启动yarn------------------"
      ssh hadoop002 $HADOOP_HOME/sbin/start-yarn.sh
      echo "---------------启动historyserver-------------"
      ssh hadoop001 $HADOOP_HOME/bin/mapred --daemon start historyserver
      ;;
"stop")
      echo "============关闭hadoop集群================"

      echo "--------------关闭historyserver-----------"
      ssh hadoop001 $HADOOP_HOME/bin/mapred --daemon stop historyserver 
      echo "-------------关闭yarn--------------------"
      ssh hadoop002 $HADOOP_HOME/sbin/stop-yarn.sh
      echo "-------------关闭hdfs--------------------"
      ssh hadoop001 $HADOOP_HOME/sbin/stop-dfs.sh
      ;;
*)
     echo "args info is error!!!"
     ;;
esac

3.7 查看集群

在每台服务器上使用 jps 命令查看服务进程【以下只是说明，并非在每台服务器上使用jps查询】：

# 【hdfs主节点】拥有 NameNode SecondaryNameNode
[root@hadoop001 sbin]# jps
1701 NameNode
1848 DataNode
7198 NodeManager
2095 SecondaryNameNode

# 【yarn主节点】拥有 ResourceManager
[root@hadoop002 sbin]# jps
1848 DataNode
7198 NodeManager
7055 ResourceManager

[root@hadoop003 sbin]# jps
1848 DataNode
7198 NodeManager

或直接进入 Web-UI 界面进行查看，根据配置的地址进行访问：

    <property>
        <name>dfs.namenode.http-address</name>
        <value>tcloud:9870</value>
    </property>

可以看到此时有三个可用的 Datanode 点击 Live Nodes 进入，可以看到每个 DataNode 的详细情况。也可以查看 Yarn 的情况，端口号为 8088。

3.8 提交服务到集群

提交作业到集群的方式和单机环境完全一致，这里以提交 Hadoop 内置的计算 Pi 的示例程序为例，在任何一个节点上执行都可以，命令如下：

[root@hadoop001 sbin]# hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 3 3

总结

集群搭建跟单机版不同的是要进行多台服务器的环境配置、hdfs配置、免密登录等。