学习大数据的第一步,搭建hadoop
1.虚拟机安装Centos
2.Linux设置、
- 永久关闭防火墙
systemctrl disable firewalld
- 修改Linux的 IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
- 修改为静态地址,配置IP,网关,DNS
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.120.211
GATEWAY=192.168.120.2
DNS1=192.168.120.2
- 配置机器名
vim /etc/hostneme
配置为hadoop01,重启后生效
- 创建hadoop账户
useradd hadoop
password 123456
提升hadoop账户权限
vim /etc/sudoers
hadoop ALL=(ALL) NOPASSWD:ALL
- 创建目录,并修改权限为hadoop
创建目录
mkdir /opt/software
mkdir /opt/module
修改权限
chown hadoop:hadoop software
chown hadoop:hadoop module
- 修改hosts文件(根据自身IP地址设置)
vim /etc/hosts
2.上传JDK和Hadoop安装包
上传至/opt/software
链接:https://pan.baidu.com/s/1Hmcc0l3KF7n0q8ALjeBRvg?pwd=o9ut 提取码:o9ut
3.解压JDK和Hadoop
tar -xvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
tar -xvf jhadoop-3.1.3.tar.gz -C /opt/module/
4.配置Java和Hadoop环境变量
cd /etc/profile.d
创建一个 .sh的文件
vim my_env.sh
粘入以下内容
export JAVA_HOME
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/opt/module/hadoop-3.1.3
export HADOOP_HOME
PATH=$PATH:$HADOOP_HOME/bin
PATH=$PATH:$HADOOP_HOME/sbin
测试:
java -version
hadoop version