Hadoop搭建

67 阅读1分钟

学习大数据的第一步,搭建hadoop

1.虚拟机安装Centos

2.Linux设置、

  • 永久关闭防火墙

systemctrl disable firewalld

  • 修改Linux的 IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

  • 修改为静态地址,配置IP,网关,DNS
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.120.211
GATEWAY=192.168.120.2
DNS1=192.168.120.2                            
  • 配置机器名

vim /etc/hostneme

配置为hadoop01,重启后生效

image.png

  • 创建hadoop账户

useradd hadoop

password 123456

提升hadoop账户权限

vim /etc/sudoers

hadoop ALL=(ALL) NOPASSWD:ALL

image.png

  • 创建目录,并修改权限为hadoop

创建目录

mkdir /opt/software

mkdir /opt/module

修改权限

chown hadoop:hadoop software

chown hadoop:hadoop module

  • 修改hosts文件(根据自身IP地址设置)

vim /etc/hosts

2.上传JDK和Hadoop安装包

上传至/opt/software

链接:https://pan.baidu.com/s/1Hmcc0l3KF7n0q8ALjeBRvg?pwd=o9ut 提取码:o9ut

3.解压JDK和Hadoop

tar -xvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ tar -xvf jhadoop-3.1.3.tar.gz -C /opt/module/

4.配置Java和Hadoop环境变量

cd /etc/profile.d

创建一个 .sh的文件

vim my_env.sh

粘入以下内容

export JAVA_HOME
PATH=$PATH:$JAVA_HOME/bin
HADOOP_HOME=/opt/module/hadoop-3.1.3
export HADOOP_HOME
PATH=$PATH:$HADOOP_HOME/bin
PATH=$PATH:$HADOOP_HOME/sbin

测试: java -version hadoop version