VM上的Hadoop运行环境搭建（二）- JDK与Hadoop的安装

熊猫Panda
130 阅读2分钟

继续VM上的Hadoop运行环境搭建（一）中未完成的Hadoop环境搭建，在Hadoop102中搭建

1. JDK的安装

1.1. 卸载原有的JDK版本

在VM上的Hadoop运行环境搭建（一）中，已经将Linux中自带的JDK版本进行了卸载

1.2. 用XShell传输工具将JDK导入到opt目录下面的software文件夹下面

image.png

1.3. 在Linux系统下的opt目录中查看软件包是否导入成功

[panda@Hadoop102 software]$ ll
总用量 520600
-rw-rw-r--. 1 atguigu atguigu 195013152 7月  29 20:31 jdk-8u212-linux-x64.tar.gz

1.4. 解压JDK到/opt/module目录下

[panda@Hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

1.5. 配置JDK环境变量

1.5.1. 创建my_env.sh文件

[panda@Hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

1.5.2. 在文件中添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212 //JDK家目录
export PATH=$PATH:$JAVA_HOME/bin

1.5.3. 保存并退出

:wq

1.5.4. source一下/etc/profile文件，让新的环境变量PATH生效

[panda@Hadoop102 ~]$ source /etc/profile

1.6. 测试JDK是否安装成功

[panda@Hadoop102 opt]$ java -version
java version "1.8.0_212" //出现了Java版本代表成功
Java(TM) SE Runtime Environment (build 1.8.0_212-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.212-b10, mixed mode)

2. Hadoop安装

2.1. 用XShell文件传输工具将hadoop-3.1.3.tar.gz导入到opt目录下面的software文件夹下面

image.png

2.2. 进入到Hadoop安装包路径下

[panda@Hadoop102 ~]$ cd /opt/software/

2.3. 解压安装文件到/opt/module下面

[panda@Hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2.4. 查看是否解压成功

[panda@Hadoop102 software]$ ll
总用量 520600
-rw-rw-r--. 1 atguigu atguigu 338075860 7月  29 20:31 hadoop-3.1.3.tar.gz
-rw-rw-r--. 1 atguigu atguigu 195013152 7月  29 20:31 jdk-8u212-linux-x64.tar.gz

2.5. 将Hadoop添加到环境变量

2.5.1. 打开刚刚创建的my_env.sh文件

[panda@Hadoop102 software]$ sudo vim /etc/profile.d/my_env.sh

2.5.2. 添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3 //Hadoop家目录
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

2.5.3. 保存并退出

:wq

2.5.4. source一下/etc/profile文件，让新的环境变量PATH生效

[panda@Hadoop102 ~]$ source /etc/profile

2.5.5. 测试是否安装成功

[panda@Hadoop102 opt]$ hadoop version
Hadoop 3.1.3 //出现版本证明成功
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r ba631c436b806728f8ec2f54ab1e289526c90579
Compiled by ztang on 2019-09-12T02:47Z
Compiled with protoc 2.5.0
From source with checksum ec785077c385118ac91aadde5ec9799
This command was run using /opt/module/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar

3. Hadoop目录

3.1. 查看目录结构

[panda@Hadoop102 hadoop-3.1.3]$ ll
总用量 176
drwxr-xr-x. 2 panda panda    183 9月  12 2019 bin
drwxr-xr-x. 3 panda panda     20 9月  12 2019 etc
drwxr-xr-x. 2 panda panda    106 9月  12 2019 include
drwxr-xr-x. 3 panda panda     20 9月  12 2019 lib
drwxr-xr-x. 4 panda panda    288 9月  12 2019 libexec
-rw-rw-r--. 1 panda panda 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 panda panda  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 panda panda   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 panda panda   4096 9月  12 2019 sbin
drwxr-xr-x. 4 panda panda     31 9月  12 2019 share

3.2. 重要目录

  1. bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
  2. etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
  3. lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
  4. sbin目录：存放启动或停止Hadoop相关服务的脚本
  5. share目录：存放Hadoop的依赖jar包、文档、和官方案例
avatar
文章
阅读
粉丝