hadoop搭建记录01:环境准备

194 阅读2分钟

1.购买服务器

需要3台服务器,所以去阿里云买了3台,版本为CentOS7.6

在购买前。先创建专有网络192.168.10.0/24,路由器的网关设置为:192.168.10.0/25

3台服务器使用同一专有网络,并把它们的内网ip设置为:192.168.10.102、192.168.10.103、192.168.10.104

2.服务器配置

下载软件包:

yum install -y epel-release
yum install -y net-tools

修改主机名,跟内网ip一一对应,方便我们知道当前服务器是哪一台。vim /etc/hostname

vim /etc/hosts

192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

创建文件夹,为后面安装jdk和hadoop做准备

mkdir /opt/module 
mkdir /opt/software

最后重启服务器

安装hadoop

以下操作只需在Hadoop102服务器上执行,其余服务器参照hadoop搭建记录02:集群配置来安装会方便很多

安装jdk

卸载jdk:(虚拟机安装的CentOS可能会自带jdk环境)

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

➢ rpm -qa:查询所安装的所有 rpm 软件包
➢ grep -i:忽略大小写
➢ xargs -n1:表示每次只传递一个参数
➢ rpm -e –nodeps:强制卸载软件

安装jdk

去oracle官网安装jdk1.8:jdk-8u321-linux-x64.tar.gz

上传到 /opt/software

解压 JDK 到/opt/module 目录下

tar -zxvf jdk-8u312-linux-x64.tar.gz -C /opt/module/

新建/etc/profile.d/my_env.sh 文件 vim /etc/profile.d/my_env.sh

添加如下内容

 #JAVA_HOME 
 export JAVA_HOME=/opt/module/jdk1.8.0_212 
 export PATH=$PATH:$JAVA_HOME/bin

source 一下/etc/profile 文件,让新的环境变量 PATH 生效

source /etc/profile

测试 JDK 是否安装成功

java -version

安装hadoop

Hadoop 下载地址:archive.apache.org/dist/hadoop…

将hadoop-2.7.6.tar.gz上传到 /opt/software

解压

tar -zxvf hadoop-2.7.6.tar.gz -C /opt/module/

配置环境变量 vim /etc/profile.d/my_env.sh

#HADOOP_HOME 
export HADOOP_HOME=/opt/module/hadoop-2.7.6 
export PATH=$PATH:$HADOOP_HOME/bin 
export PATH=$PATH:$HADOOP_HOME/sbin

测试安装成功

source /etc/profile 
hadoop version

最后重启服务器

3.本地运行模式(官方 WordCount)

1)创建在 hadoop-2.7.6 (/opt/module/hadoop-2.7.6 )目录下面创建一个 wcinput 文件夹

mkdir wcinput 

2)在 wcinput 文件下创建一个 word.txt 文件

cd wcinput

3)编辑 word.txt 文件

vim word.txt

yarn hadoop mapreduce atguigu atguigu go 
java cpp cpp

4)回到 Hadoop 目录:

cd /opt/module/hadoop-2.7.6

5)执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount wcinput wcoutput 

6)

cat wcoutput/part-r-00000