Hadoop3.2.2安装 windows版

开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第39天，点击查看活动详情

1、下载安装包

www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz

2、下载windows下使用hadoop需要的工具 winutils.exe 和 hadoop.dll

github.com/cdarlint/winutils/tree/master/hadoop-3.2.2/bin

放入hadoop bin 目录下即可

3、配置环境变量

4、配置 配置文件

在data目录下，创建两目录 namenode，datanode，

4.1、进入etc/hadoop目录

4.2、修改core-site.xml

<configuration>
	<property>
	    <name>fs.default.name</name>
	  <value>hdfs://localhost:9000</value>
	 </property>
	 <property>
	  <name>hadoop.tmp.dir</name>
	  <value>/E:/bigData/hadoop-3.2.2/data/tmp</value>
	 </property>
</configuration>

4.3 修改mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

4.4 修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>

</configuration>

4.5、修改hdfs-site.xml

<configuration>
   <!-- 这个参数设置为1，因为是单机版hadoop -->
   <property>
	   <name>dfs.replication</name>
	   <value>1</value>
   </property>
   	<property> 
        <name>dfs.permissions</name> 
        <value>false</value> 
     </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/E:/bigData/hadoop-3.2.2/data/namenode</value>
      </property>
      <property>
   		<name>fs.checkpoint.dir</name>
   		<value>/E:/bigData/hadoop-3.2.2/data/snn</value>
   	</property>
   	<property>
   		<name>fs.checkpoint.edits.dir</name>
   		<value>/E:/bigData/hadoop-3.2.2/data/snn</value>
   	</property>
   	   <property>
          <name>dfs.datanode.data.dir</name>
          <value>/E:/bigData/hadoop-3.2.2/data/datanode</value>
      </property>
</configuration>

5、找到hadoop-env.cmd 配置jdk路径

编辑 注意：javahome原路径为下图， 这里将 Program Files 替换为了 PROGRA~ 替代。 路径不能出现空格

6、格式化，启动

6.1、以管理员 打开cmd

6.2、进入hadoop bin目录

6.3 、进入hadoop sbin目录

执行 start-all.cmd

此时可以看到同时启动了如下4个服务： Hadoop Namenode Hadoop datanode YARN Resourc Manager YARN Node Manager

7、HDFS应用

http://127.0.0.1:8088/ 即可查看集群所有节点状态：

访问 http://localhost:9870/ 即可查看文件管理页面：

8、DataNode启动问题

ERROR datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to IP1:8020 Invalid volume failure config value: 1

FATAL datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to IP1:8020. Exiting. org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid volume failure config value: 1

原因是datanode只配置了一个数据目录，

并且hdfs-site.xml的dfs.datanode.failed.volumes.tolerated设置成了1.

修改方法：dfs.datanode.failed.volumes.tolerated 设置成0