​

配置前提

配置前提搭建好linux环境(我采用的是命令行界面) 比如

关闭防火墙systemctl stop firewalld(最好是设置开机不启动，然后检查一下状态是否被杀死)

开机不启动防火墙 systemctl disable firewalld

检查防火墙状态 systemctl status firewalld(为dead就是关闭成功了)

配置固定ip(防止ip不一致情况) 配置虚拟机映射和windows映射(方便后续连接xshell操作)，配置好java环境变量和hadoop环境变量(配置在/etc/profilie的底部 配置好后一定要刷新一下文件或者重启source /etc/profile或者reboot)

伪分布式的搭建结构(竖着看)

​

编辑

core-site.xml

  

  

 fs.defaultFS 

 hdfs://hadoop102:9020 

  

  

  

 hadoop.tmp.dir 

 /opt/module/hadoop-3.1.3/data 

  

hdfs-site.xml

 

 

 dfs.namenode.http-address 

 hadoop102:9870 

  

 

  

 dfs.namenode.secondary.http-address 

 hadoop104:9868 

  

yarn-site.xml

 

  

 yarn.nodemanager.aux-services 

 mapreduce_shuffle 

  

  

  

 yarn.resourcemanager.hostname 

 hadoop103 

  

  

  

 yarn.nodemanager.env-whitelist 

JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO 

NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP 

RED_HOME 

  

mapred-site.xml

 

  

 mapreduce.framework.name 

 yarn 

  

​