Hadoop学习笔记(二)

144 阅读2分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第25天,点击查看活动详情

前言

上节学习了Hadoop的相关知识,了解HDFSMapReduceYarn等模块的作用。这次就来试着在Window10系统上安装Hadoop把,由于Hadoop官方只支持了Linux的系统,因此需要一些额外的操作。

下载

目前大多数公司使用的Hadoop都是2.X版本的,这次我选择了2.7.1版本来作为例子。

下载地址:Index of /dist/hadoop/common/hadoop-2.7.1 (apache.org)

选择hadoop-2.7.1-tar.gz文件进行下载,随后解压到任意目录。

image-20221024165102930

随后在系统设置里配置环境

新增HADOOP_HOME变量,内容为你的Hadoop解压目录

image.png

随后在系统环境变量Path中,追加%HADOOP_HOME%\bin

配置好后,打开CMD,输入hadoop version查看是否正常输出。

image-20221024165553524

如果出现*Error: JAVA_HOME is incorrectly set.的字眼,是因为你的JDK路径具有空格等非法字符。

这个时候打开你的hadoop的安装目录,打开etc\hadoop\hadoop-env.cmd文件,修改里面的JAVA_HOME变量,将其直接修改为你的JDK目录。

set JAVA_HOME="C:\Program Files\Java\jdk1.8.0_201"

随后在执行hadoop version目录,可以发现版本号正常输出啦。

额外配置

下载winutils相关文件

由于上面提到的Hadoop本身并不支持Window系统,因此需要一些额外的操作。

steveloughran/winutils: Windows binaries for Hadoop versions (built from the git commit ID used for the ASF relase) (github.com)

根据你所下载的Hadoop版本,选择对应的winutils进行下载

这里我选择的是2.7.1版本,下载里面的hadoop.dll文件和winutils.exe文件,并把它复制到Hadoop的bin目录中。

配置core-site.xml

同时修改etc目录下的core-site.xml

 <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop/hadoop-2.7.1/data/dfs/namenode</value>
​
    </property>
​
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/D:/hadoop/hadoop-2.7.1/data/dfs/datanode</value>
    </property>
  </configuration>

将副本数设为1,并指定namenodedatanode的存储路径。

配置hdfs-site.xml

再修改etc目录下的hdfs-site.xml文件

 <configuration>
       <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/hadoop-2.7.1/data</value>
    <description>存放临时数据的目录,即包括NameNode的数据</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
   </property>
</configuration>

测验

随后在CMD中执行hdfs namenode -format命令,如果出现类似has been successfully formatted.的字眼,则表示你的hadoop安装成功啦~

最后我们在sbin目录中执行start-all.cmd命令,随后会弹出4个CMD窗口,随后执行jps命令,如果出现下图则证明启动成功

image.png

参考资料