Spark

4 阅读2分钟

在虚拟机上安装java

  1. 把javaJDK文件上传到服务器上。

  2. 解压文件。

  3. 配置环境变量。

  • 1. 上传文件到虚拟机用FinalShell传输工具将JDK导入到opt目录下面的software文件夹下面(opt/software文件夹是我们自己创建的)
  • 2. 解压文件。把刚才创建的文件解压出来。

(1)检查软件包是否上传成功

在解压之前,看看上传是否成功了。使用cd命令进入到opt/software目录,再使用ls命令,查看是否已经上传成功。

看到如下结果:jdk-8u212-linux-x64.tar.gz

(2)解压JDK到/opt/module目录

确认上传成功之后,在software目录下,运行如下命令

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

**这条命令的作用就是将 jdk-8u212-linux-x64.tar.gz 这个经过gzip压缩的 tar归档文件解压到 /opt/module/目录中,并在解压过程中显示详细信息。 **

  • 3. 配置JDK环境变量

把需要用到的环境变量配置到一个新的.sh文件中,再把这个新的文件放在profile.d目录下。

(1)新建/etc/profile.d/my_env.sh文件

命令: vi /etc/profile.d/my_env.sh

在打开的文件中输入如下内容

#JAVA_HOME #是注释

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=PATH:PATH:JAVA_HOME/bin

其中:export是把一个变量导出为环境变量

PATH:PATH:JAVA_HOME/bin 是将 JAVAHOME/bin 目录添加到 PATH 环境变量中,这样在终端中就可以直接执行 JAVA_HOME/bin 目录添加到 PATH 环境变量中,这样在终端中就可以直接执行 JAVA_HOME/bin 目录下的 Java 相关命令,而无需输入完整的文件路径。:wq

(2)保存后退出。按下:wq回车。

(3)source一下/etc/profile文件,让新的环境变量PATH生效

source /etc/profile

4. 测试JDK是否安装成功

在任意目录下,运行 java -version,如果能看到以下结果,则代表Java安装成功。

java version "1.8.0_212"

如果不生效,就重新启动一下虚拟机(reboot), 然后再试一次。

在虚拟机上安装Hadoop

    1. 使用finalshell上传。这里直接鼠标拖动操作即可。
    1. 解压。进入到Hadoop安装包路径下,cd /opt/software/ ,再解压安装文件到/opt/module下,对应的命令是:

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 将Hadoop添加到环境变量 打开/etc/profile.d/my_env.sh文件,并在my_env.sh文件末尾添加如下内容:

HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.1.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出,按下:wq并回车

  • 3.让修改后的文件生效

使用source命令让配置文件生效。

source /etc/profile

测试是否安装成功

使用hadoop version检查hadoop是否安装成功。

如果看到: Hadoop 3.1.3 表示成功。

运行官方WordCount程序

  1. 在hadoop-3.1.3文件夹下,创建一个新文件夹,名为wcinput
  2. 在wcinput下创建一个word1.txt和一个word2.txt文件
  3. 执行程序。回到Hadoop目录下,/opt/module/hadoop-3.1.3,运行命令:
[hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput]()

4.查看结果

使用cat命令去查看wcoutput下的运行结果。