简易分布式存储系统项目准备6|青训营笔记

163 阅读2分钟

这是我参与「第四届青训营 」笔记创作活动的的第7天 这是青训营课程小组将要涉及的项目。 动手安装 Hadoop

首先介绍一下,我使用的机器操作系统是 Windows 10。因为 Hadoop 需要 Java 的支持,我们先看一下电脑上是否已经安装了 JDK,并且配置好了环境变量。

进入 CMD 命令提示符中,使用下面这个命令查看 Java 版本,如果显示正常,说明已经安装了 Java,并且配置了环境变量。

C:\Users\userxxx>java -version

java version "1.8.0_231"

Java(TM) SE Runtime Environment (build 1.8.0_231-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)

在 Windows 8 及以上版本,如果你的 Java JDK 安装在了 Program Files 路径下面,需要注意使用下面的方式来调整你的环境变量路径,否则我们的 Hadoop 配置会无法识别。

用 “Progra~1” 替代 “Program Files”

用 “Progra~2” 替代 “Program Files(x86)”

由于在 Windows 系统下支持得并不是很好,原生的 3.2.1 版本可能需要做一些调整,我这里把调整好的项目放到了云盘上(提取码:k132),你可以下载我已经打包好的。

下载完,把文件解压到自己的电脑上,比如我这里是放在 D:\,打开 CMD 命令提示符,然后进入 Hadoop 的 bin 路径,如下所示:

D:\hadoop-3.2.1\hadoop-3.2.1\bin>

使用命令 Hadoop Version,如果正常可以看到如下版本信息:

Hadoop 3.2.1

Source code repository gitbox.apache.org/repos/asf/h… -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842

Compiled by rohithsharmaks on 2019-09-10T15:56Z

Compiled with protoc 2.5.0

From source with checksum 776eaf9eee9c0ffc370bcbc1888737

This command was run using /D:/hadoop-3.2.1/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar

接下来我们需要修改几个配置文件,让 Hadoop 进行最基本的启动。

(1)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\core-site.xml 为:

      fs.defaultFS

      hdfs://localhost:9820

(2)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\mapred-site.xml 为:

  

       mapreduce.framework.name

       yarn

  

(3)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\hdfs-site.xml 为:

       dfs.replication

       1

  

  

       dfs.namenode.name.dir

       file:///d:/hadoop-3.2.1/hadoop-3.2.1/data/dfs/namenode

  

  

       dfs.datanode.data.dir

     file:///d:/hadoop-3.2.1/hadoop-3.2.1/data/dfs/datanode

  

这里的 value 为 1 表明我们构建的系统只有一个节点,同时,定义了我们的 NameNode 根目录和 DataNode 根目录。

(4)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\yarn-site.xml 为:

  

       yarn.nodemanager.aux-services

       mapreduce_shuffle

       Yarn Node Manager Aux Service

  

然后输入 hadoop namenode -format,应该能看到这样的结果: