这是我参与「第四届青训营 」笔记创作活动的的第7天 这是青训营课程小组将要涉及的项目。 动手安装 Hadoop
首先介绍一下,我使用的机器操作系统是 Windows 10。因为 Hadoop 需要 Java 的支持,我们先看一下电脑上是否已经安装了 JDK,并且配置好了环境变量。
进入 CMD 命令提示符中,使用下面这个命令查看 Java 版本,如果显示正常,说明已经安装了 Java,并且配置了环境变量。
C:\Users\userxxx>java -version
java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)
在 Windows 8 及以上版本,如果你的 Java JDK 安装在了 Program Files 路径下面,需要注意使用下面的方式来调整你的环境变量路径,否则我们的 Hadoop 配置会无法识别。
用 “Progra~1” 替代 “Program Files”
用 “Progra~2” 替代 “Program Files(x86)”
由于在 Windows 系统下支持得并不是很好,原生的 3.2.1 版本可能需要做一些调整,我这里把调整好的项目放到了云盘上(提取码:k132),你可以下载我已经打包好的。
下载完,把文件解压到自己的电脑上,比如我这里是放在 D:\,打开 CMD 命令提示符,然后进入 Hadoop 的 bin 路径,如下所示:
D:\hadoop-3.2.1\hadoop-3.2.1\bin>
使用命令 Hadoop Version,如果正常可以看到如下版本信息:
Hadoop 3.2.1
Source code repository gitbox.apache.org/repos/asf/h… -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842
Compiled by rohithsharmaks on 2019-09-10T15:56Z
Compiled with protoc 2.5.0
From source with checksum 776eaf9eee9c0ffc370bcbc1888737
This command was run using /D:/hadoop-3.2.1/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar
接下来我们需要修改几个配置文件,让 Hadoop 进行最基本的启动。
(1)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\core-site.xml 为:
fs.defaultFS
hdfs://localhost:9820
(2)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\mapred-site.xml 为:
mapreduce.framework.name
yarn
(3)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\hdfs-site.xml 为:
dfs.replication
1
dfs.namenode.name.dir
file:///d:/hadoop-3.2.1/hadoop-3.2.1/data/dfs/namenode
dfs.datanode.data.dir
file:///d:/hadoop-3.2.1/hadoop-3.2.1/data/dfs/datanode
这里的 value 为 1 表明我们构建的系统只有一个节点,同时,定义了我们的 NameNode 根目录和 DataNode 根目录。
(4)修改 D:\hadoop-3.2.1\hadoop-3.2.1\etc\hadoop\yarn-site.xml 为:
yarn.nodemanager.aux-services
mapreduce_shuffle
Yarn Node Manager Aux Service
然后输入 hadoop namenode -format,应该能看到这样的结果: