Hadoop3，2024年最新百度、阿里、滴滴、新浪的面试心经总结

二、前期准备

1.关闭防火墙：

查看防火墙状态:

systemctl status firewalld.service

关闭防火墙：

systemctl stop firewalld.service

永久关闭防火墙：

systemctl disable firewalld.service

再次查看防火墙状态：

systemctl status firewalld.service

 执行结果如下：

2.设置免密登录：

ssh-keygen -t rsa -P ''

ssh-copy-id localhost

ssh localhost

exit

执行结果如下：

 3.启用RSA认证：

vim /etc/ssh/sshd_config

添加如下配置：

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

4.虚拟机关机，克隆虚拟机创建bigdata02、bigdata03节点：

 

 

 

 

 

 

 同样的方式创建bigdata03节点这里不再进行演示。

5.开机，三个节点修改主机名：

vim /etc/hostname

修改完成后需要重启虚拟机。

 6.三个节点设置静态ip（之前博客有发这里不再进行演示）。

7.三个节点设置ip映射：

vim /etc/hosts

在文件底部作出如下配置：

8.三个节点都测试⼀下配置是否成功:

ssh bigdata01

ssh bigdata02

ssh bigdata03

执行结果如下：

 准备完毕！

三、配置hadoop完全分布式

1.在/opt/module/hadoop/etc/hadoop/目录下，编辑hadoop-env.sh、yarn-env.sh、mapred-env.sh文件：

vim hadoop-env.sh

vim yarn-env.sh

vim mapred-env.sh

均添加如下配置：

export JAVA_HOME=/opt/module/jdk

2.在/opt/module/hadoop/etc/hadoop/目录下，编辑core-site.xml文件：

vim core-site.xml

在下添加如下配置：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata01:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop/dfs/tmp/</value>
</property>

3.在/opt/module/hadoop/etc/hadoop/目录下，编辑hdfs-site.xml文件：

vim hdfs-site.xml

在下添加如下配置：

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/module/hadoop/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/module/hadoop/dfs/data</value>
</property>

4.在/opt/module/hadoop/etc/hadoop/目录下，编辑yarn-site.xml文件：

vim yarn-site.xml

在下添加如下配置：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata01</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

5.在/opt/module/hadoop/etc/hadoop/目录下，编辑mapred-site.xml文件：

vim mapred-site.xml

在下添加如下配置：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>
<property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=/opt/module/hadoop</value>
</property>

6.在/opt/module/hadoop/etc/hadoop/目录下，编辑works：

vim workers

删除原配置，添加如下配置：

bigdata01
bigdata02
bigdata03

7.在/etc/profile下配置hadoop的HDSF和YARN⽤户：

vim /etc/profile

在文件底部添加如下配置：

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

8.source使配置⽂件⽣效：

source /etc/profile

9.将hadoop和将/etc/profile拷⻉到bigdata02和bigdata03：

scp -r /opt/module/hadoop/ @bigdata02:/opt/module/

scp -r /opt/module/hadoop/ @bigdata03:/opt/module/

![img](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/5b0c9b6f1b524d44b827c18dd2259b25~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5py65Zmo5a2m5Lmg5LmL5b-DQUk=:q75.awebp?rk3s=f64ab15b&x-expires=1771262237&x-signature=iCuWbqUVxOSF%2BKzX6Ul26P8JkI4%3D)
![img](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/b376a8206d3d41a9861a7815f8151fab~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5py65Zmo5a2m5Lmg5LmL5b-DQUk=:q75.awebp?rk3s=f64ab15b&x-expires=1771262237&x-signature=ZXQbET8N7y6FfapIj%2FDqZhl2XoE%3D)
![img](https://p6-xtjj-sign.byteimg.com/tos-cn-i-73owjymdk6/19b8d0af8bb0499fa3e7e3295c8d1586~tplv-73owjymdk6-jj-mark-v1:0:0:0:0:5o6Y6YeR5oqA5pyv56S-5Yy6IEAg5py65Zmo5a2m5Lmg5LmL5b-DQUk=:q75.awebp?rk3s=f64ab15b&x-expires=1771262237&x-signature=%2BSxl%2B9qk2Qzv8%2BftG%2FYTW0dU3Aw%3D)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**


**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://gitee.com/vip204888)**