1.购买服务器
需要3台服务器,所以去阿里云买了3台,版本为CentOS7.6
在购买前。先创建专有网络192.168.10.0/24,路由器的网关设置为:192.168.10.0/25
3台服务器使用同一专有网络,并把它们的内网ip设置为:192.168.10.102、192.168.10.103、192.168.10.104
2.服务器配置
下载软件包:
yum install -y epel-release
yum install -y net-tools
修改主机名,跟内网ip一一对应,方便我们知道当前服务器是哪一台。vim /etc/hostname
vim /etc/hosts
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
创建文件夹,为后面安装jdk和hadoop做准备
mkdir /opt/module
mkdir /opt/software
最后重启服务器
安装hadoop
以下操作只需在Hadoop102服务器上执行,其余服务器参照hadoop搭建记录02:集群配置来安装会方便很多
安装jdk
卸载jdk:(虚拟机安装的CentOS可能会自带jdk环境)
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
➢ rpm -qa:查询所安装的所有 rpm 软件包
➢ grep -i:忽略大小写
➢ xargs -n1:表示每次只传递一个参数
➢ rpm -e –nodeps:强制卸载软件
安装jdk
去oracle官网安装jdk1.8:jdk-8u321-linux-x64.tar.gz
上传到 /opt/software
解压 JDK 到/opt/module 目录下
tar -zxvf jdk-8u312-linux-x64.tar.gz -C /opt/module/
新建/etc/profile.d/my_env.sh 文件 vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
source 一下/etc/profile 文件,让新的环境变量 PATH 生效
source /etc/profile
测试 JDK 是否安装成功
java -version
安装hadoop
Hadoop 下载地址:archive.apache.org/dist/hadoop…
将hadoop-2.7.6.tar.gz上传到 /opt/software
解压
tar -zxvf hadoop-2.7.6.tar.gz -C /opt/module/
配置环境变量 vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
测试安装成功
source /etc/profile
hadoop version
最后重启服务器
3.本地运行模式(官方 WordCount)
1)创建在 hadoop-2.7.6 (/opt/module/hadoop-2.7.6 )目录下面创建一个 wcinput 文件夹
mkdir wcinput
2)在 wcinput 文件下创建一个 word.txt 文件
cd wcinput
3)编辑 word.txt 文件
vim word.txt
yarn hadoop mapreduce atguigu atguigu go
java cpp cpp
4)回到 Hadoop 目录:
cd /opt/module/hadoop-2.7.6
5)执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount wcinput wcoutput
6)
cat wcoutput/part-r-00000