本文已参与「新人创作礼」活动，一起开启掘金创作之路。
此文以Hadoop 3.2.2版本为例！
如未指定，下述命令在所有节点执行！
一、系统资源及组件规划
| 节点名称 | 系统名称 | CPU/ 内存 | 网卡 | 磁盘 | IP 地址 | OS |
|---|---|---|---|---|---|---|
| NameNode | namenode | 2C/4G | ens33 | 128G | 192.168.0.11 | CentOS7 |
| Secondary NameNode | secondarynamenode | 2C/4G | ens33 | 128G | 192.168.0.12 | CentOS7 |
| ResourceManager | resourcemanager | 2C/4G | ens33 | 128G | 192.168.0.13 | CentOS7 |
| Worker1 | worker1 | 2C/4G | ens33 | 128G | 192.168.0.21 | CentOS7 |
| Worker2 | worker2 | 2C/4G | ens33 | 128G | 192.168.0.22 | CentOS7 |
| Worker3 | worker3 | 2C/4G | ens33 | 128G | 192.168.0.23 | CentOS7 |
二、系统软件安装与设置
1、安装基本软件
yum -y install vim lrzsz bash-completion
2、设置名称解析
echo 192.168.0.11 namenode >> /etc/hosts
echo 192.168.0.12 secondarynamenode >> /etc/hosts
echo 192.168.0.13 resourcemanager >> /etc/hosts
echo 192.168.0.21 worker1 >> /etc/hosts
echo 192.168.0.22 worker2 >> /etc/hosts
echo 192.168.0.23 worker3 >> /etc/hosts
3、设置NTP
yum -y install chrony
systemctl start chronyd
systemctl enable chronyd
systemctl status chronyd
chronyc sources
4、设置SELinux、防火墙
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
三、搭建Hadoop完全分布式集群
1、设置SSH免密登录
在NameNode和ResourceManager节点上配置免密ssh所有节点：
ssh-keygen -t rsa
for host in namenode secondarynamenode resourcemanager worker1 worker2 worker3; do ssh-copy-id -i ~/.ssh/id_rsa.pub $host; done
2、安装JDK
下载JDK文件：
参考地址：www.oracle.com/java/techno…
解压JDK安装文件：
tar -xf /root/jdk-8u291-linux-x64.tar.gz -C /usr/local/
设置环境变量：
export JAVA_HOME=/usr/local/jdk1.8.0_291/
export PATH=$PATH:/usr/local/jdk1.8.0_291/bin/
添加环境变量至/etc/profile文件：
export JAVA_HOME=/usr/local/jdk1.8.0_291/
PATH=$PATH:/usr/local/jdk1.8.0_291/bin/
查看Java版本：
java -version
3、安装Hadoop集群
下载Hadoop文件：
参考地址：hadoop.apache.org/releases.ht…
解压Hadoop安装文件：
tar -xf /root/hadoop-3.2.2.tar.gz -C /usr/local/
设置环境变量：
export PATH=$PATH:/usr/local/hadoop-3.2.2/bin/:/usr/local/hadoop-3.2.2/sbin/
添加环境变量至/etc/profile文件：
PATH=$PATH:/usr/local/hadoop-3.2.2/bin/:/usr/local/hadoop-3.2.2/sbin/
查看Hadoop版本：
hadoop version
4、配置Hadoop集群
修改core-site.xml文件：
cat > /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml << EOF
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode:9000</value>
</property>
</configuration>
EOF
修改hdfs-site.xml文件：
cat > /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml << EOF
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>secondarynamenode:50090</value>
</property>
</configuration>
EOF
修改yarn-site.xml文件：
cat > /usr/local/hadoop-3.2.2/etc/hadoop/yarn-site.xml << EOF
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>resourcemanager</value>
</property>
</configuration>
EOF
修改mapred-site.xml文件：
cat > /usr/local/hadoop-3.2.2/etc/hadoop/mapred-site.xml << EOF
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
EOF
修改hadoop-env.sh文件：
vim /usr/local/hadoop-3.2.2/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_291/
修改workers文件，指定Worker节点：
echo worker1 > /usr/local/hadoop-3.2.2/etc/hadoop/workers
echo worker2 >> /usr/local/hadoop-3.2.2/etc/hadoop/workers
echo worker3 >> /usr/local/hadoop-3.2.2/etc/hadoop/workers
修改start-dfs.sh文件，指定启动用户：
vim /usr/local/hadoop-3.2.2/sbin/start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
修改stop-dfs.sh文件，指定启动用户：
vim /usr/local/hadoop-3.2.2/sbin/stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
修改start-yarn.sh文件，指定启动用户：
vim /usr/local/hadoop-3.2.2/sbin/start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
修改stop-yarn.sh文件，指定启动用户：
vim /usr/local/hadoop-3.2.2/sbin/stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
5、启动Hadoop集群
在NameNode节点上格式化NameNode：
hdfs namenode -format
在NameNode节点上启动HDFS：
start-dfs.sh
在ResourceManager节点上启动YARN：
start-yarn.sh
在各类节点上查看Hadoop进程：
6、登录Hadoop集群
登录NameNode：
登录Secondary NameNode：
登录ResourceManager：
7、停止Hadoop集群
在NameNode节点上停止HDFS：
stop-dfs.sh
在ResourceManager节点上停止YARN：
stop-yarn.sh
