持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第25天,点击查看活动详情
前言
上节学习了Hadoop的相关知识,了解HDFS、MapReduce、Yarn等模块的作用。这次就来试着在Window10系统上安装Hadoop把,由于Hadoop官方只支持了Linux的系统,因此需要一些额外的操作。
下载
目前大多数公司使用的Hadoop都是2.X版本的,这次我选择了2.7.1版本来作为例子。
下载地址:Index of /dist/hadoop/common/hadoop-2.7.1 (apache.org)
选择hadoop-2.7.1-tar.gz文件进行下载,随后解压到任意目录。
随后在系统设置里配置环境
新增HADOOP_HOME变量,内容为你的Hadoop解压目录
随后在系统环境变量Path中,追加%HADOOP_HOME%\bin
配置好后,打开CMD,输入hadoop version查看是否正常输出。
如果出现*Error: JAVA_HOME is incorrectly set.的字眼,是因为你的JDK路径具有空格等非法字符。
这个时候打开你的hadoop的安装目录,打开etc\hadoop\hadoop-env.cmd文件,修改里面的JAVA_HOME变量,将其直接修改为你的JDK目录。
set JAVA_HOME="C:\Program Files\Java\jdk1.8.0_201"
随后在执行hadoop version目录,可以发现版本号正常输出啦。
额外配置
下载winutils相关文件
由于上面提到的Hadoop本身并不支持Window系统,因此需要一些额外的操作。
根据你所下载的Hadoop版本,选择对应的winutils进行下载
这里我选择的是2.7.1版本,下载里面的hadoop.dll文件和winutils.exe文件,并把它复制到Hadoop的bin目录中。
配置core-site.xml
同时修改etc目录下的core-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/hadoop/hadoop-2.7.1/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/hadoop/hadoop-2.7.1/data/dfs/datanode</value>
</property>
</configuration>
将副本数设为1,并指定namenode和datanode的存储路径。
配置hdfs-site.xml
再修改etc目录下的hdfs-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/hadoop/hadoop-2.7.1/data</value>
<description>存放临时数据的目录,即包括NameNode的数据</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
测验
随后在CMD中执行hdfs namenode -format命令,如果出现类似has been successfully formatted.的字眼,则表示你的hadoop安装成功啦~
最后我们在sbin目录中执行start-all.cmd命令,随后会弹出4个CMD窗口,随后执行jps命令,如果出现下图则证明启动成功
- hadoop的web界面:http://localhost:50070
- yarn的web界面:http://localhost:8088