hadoop(1) 搭建伪分布式，2024年最新超通俗解析网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

#设置硬件时间，正常修改时区就够了，如有需要，可以定一个固定的时间 hwclock --set --date '2024-02-...' #设置系统时间和硬件时间同步 hwclock --hctosys #保存时钟 clock -w


###### 3.安装jdk环境


下载地址：https://www.oracle.com/downloads/graalvm-downloads.html  
 jdk8下载地址：https://www.oracle.com/java/technologies/downloads/#java8  
 ![在这里插入图片描述](https://p3-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/5faa43fa4f8d4341a6a9a8b75aa37899~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3MzM5MTQ5MjgwNjA=:q75.awebp?rk3s=f64ab15b&x-expires=1771925025&x-signature=HgbpThuMqE9vvnvorpYztRGgozg%3D)

#解压 tar -zxvf jdk-8u401-linux-x64.tar.gz #新建放jdk的文件夹 mkdir -p /usr/java mv jdk1.8.0_401 /usr/java/jdk #编辑/etc/profile文件 vi /etc/profile #添加环境变量 export JAVA_HOME=/usr/java/jdk export PATH= $JAVA\_HOME/bin:$ PATH #刷新环境变量 source /etc/profile #验证 java -version


###### 4.安装hadoop


下载地址：https://dlcdn.apache.org/hadoop/common

#解压 tar -zxvf hadoop-3.3.6.tar.gz #移动hadoop到对应的文件夹 mv hadoop-3.3.6 /usr/hadoop #编辑/etc/profile文件 vi /etc/profile #添加环境变量 export HADOOP_HOME=/usr/hadoop export PATH= $HADOOP\_HOME/bin:$ HADOOP_HOME/sbin:$PATH #刷新环境变量 source /etc/profile #验证 hdfs version


###### 5.ssh免密

#安装ssh yum install ssh #生成RSA密钥和公钥，-t表示type ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa #将公钥发给自己 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #修改下authorized_keys的权限，否则会无法免密登录 chmod 600 ~/.ssh/authorized_keys #验证是否免密成功 ssh localhost #退出免密的localhost（上一步只是验证，验证后退出下） exit


###### 6.hadoop配置hdfs


1）修改hadoop-env.sh文件，添加启动的java路径，分布式部署后，每个地方的java路径不一定相同

#编辑hadoop-env.sh文件 vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh #取消对应注释并修改为对应java路径 export JAVA_HOME=/usr/java/jdk


2）修改core-site.xml文件，添加启动的namenode节点和对应端口

#编辑core-site.xml文件 vi $HADOOP_HOME/etc/hadoop/core-site.xml #修改并添加namenode启动ip为localhost，端口为9000 fs.defaultFS hdfs://master01:9000


3）修改hdfs-site.xml文件，添加副本数量、hdfs的web访问地址

#编辑hdfs-site.xml文件 vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml #设置副本数量为1，并设置hdfs的web访问地址为localhost的50070端口 dfs.replication 1 dfs.http.address master01:50070


###### 7.格式化namenode并启动hdfs


1）修改文件权限，然后用对应用户master01来启动

#修改文件夹权限 chown -R master01 /usr/hadoop #赋予文件夹读写执行权限 chmod -R 744 /usr/hadoop


2）格式化namenode

hdfs namenode -format


3）启动hdfs

start-dfs.sh


4）查询是否启动（NameNode,DataNode,SecondaryNameNode）

jps


5）可以通过http://192.168.132.101:50070查看hdfs管理页面，ip是对应服务器的ip  
 ![在这里插入图片描述](https://p3-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/f2295ceefbc04f71b1537abf631d33ba~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3MzM5MTQ5MjgwNjA=:q75.awebp?rk3s=f64ab15b&x-expires=1771925025&x-signature=8q74apJ2LmBD2ZU4Xmv3%2F04BlF0%3D)


###### 8.hadoop配置MapReduce


1）修改mapred-site.xml文件，配置MapReduce作业的运行时框架

#编辑mapred-site.xml文件 vi $HADOOP_HOME/etc/hadoop/mapred-site.xml #配置MapReduce作业的运行时框架为yarn mapreduce.framework.name yarn


2）修改yarn-site.xml文件，配置MapReduce运行时需要设置的shuffle服务及配置yarn的web访问地址





![img](https://p3-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/e2b90f5956f044ac8acc831caf07b87d~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3MzM5MTQ5MjgwNjA=:q75.awebp?rk3s=f64ab15b&x-expires=1771925025&x-signature=c8%2B8RwQEN72Sy46e1TWMfpNKrjE%3D)
![img](https://p3-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/05245feed0bb47ff98c418041211c4ab~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg55So5oi3MzM5MTQ5MjgwNjA=:q75.awebp?rk3s=f64ab15b&x-expires=1771925025&x-signature=PZNsxHyVi2EYOHPd0%2F5TXhdrRzQ%3D)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://gitee.com/vip204888)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**