Hadoop运行环境搭建--模版虚拟机准备

艳烔
230 阅读2分钟

VMware Workstation Pro软件的安装在此不再过多赘述

声明:因为在学习过程中,所以安装的CentOS操作系统配置,包括语言,时间等都是按照教程进行的

模版虚拟机环境准备

虚拟机安装

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

安装系统:

注意:

在安装系统之前需要检查自己的虚拟机的BIOS的虚拟化是否打开(大部分电脑都是打开的,如果出现错误再去调试)

图片.png 调试需要进入电脑的BIOS模式,方法不再过多赘述

图片.png

点击开机后,其会自行安装,安装过程可能比较长,请稍等!!!

图片.png

图片.png

进入时间设置 图片.png

进入软件选择

图片.png

进入安装位置

图片.png

图片.png

再新加两个分区 图片.png

图片.png

进入KDUMP

如果系统崩溃，可以使用名为 kdump 的内核崩溃转储机制，以便保存系统内存内容，以便稍后进行分析。

在学习阶段为节省资源,可以关闭,但在实际开发中,建议开启

图片.png

进入 网络和主机名

图片.png

进入 SECURITY POLICY 默认保持打开即可 图片.png

点击 开始安装

图片.png

在安装过程中配置一下ROOT密码

图片.png

安装完成后 点击 重启

图片.png

图片.png 进入 许可协议页面 后,点击 我同意许可协议

图片.png

点击完成配置

图片.png

点击 前进, 进入以下界面后点击 允许访问

图片.png

时区 选择 上海

图片.png

设置 普通账号 和 密码

图片.png

图片.png

到此,虚拟机安装完毕!!!

IP和主机名称配置

VMware配置

在VMware中,点击编辑->虚拟网络编辑器

图片.png

Windows系统配置

图片.png

图片.png

图片.png

CentOS系统设置

[muyi@hadoop100 ~]$ su root
密码：
[root@hadoop100 muyi]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 

TYPE="Ethernet" # 网络类型
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static" # IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="a63cf718-9cfc-444f-9458-818037771bff" # 随机ID
DEVICE="ens33" # 接口名(设备 网卡)
ONBOOT="yes" # 系统启动的时候网络接口是否有效(yes/no)
# IP地址
IPADDR=192.168.10.100
# 网关
GATEWAY=192.168.10.2
# 域名解析器
DNS1=192.168.10.3

# 保存退出 :wq

# 修改主机名
[root@hadoop100 muyi]# vim /etc/hostname 


# 主机名称映射
root@hadoop100 muyi]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6


192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

# 配置完后重启一下
root@hadoop100 muyi]# reboot

验证

验证IP地址和主机名称

[root@hadoop100 ~]# ping www.baidu.com
PING www.a.shifen.com (183.240.98.198) 56(84) bytes of data.
64 bytes from 183.240.98.198 (183.240.98.198): icmp_seq=1 ttl=128 time=31.7 ms
64 bytes from 183.240.98.198 (183.240.98.198): icmp_seq=2 ttl=128 time=31.2 ms
64 bytes from 183.240.98.198 (183.240.98.198): icmp_seq=3 ttl=128 time=31.2 ms
64 bytes from 183.240.98.198 (183.240.98.198): icmp_seq=4 ttl=128 time=31.3 ms
64 bytes from 183.240.98.198 (183.240.98.198): icmp_seq=5 ttl=128 time=31.1 ms
^C
--- www.a.shifen.com ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4006ms
rtt min/avg/max/mdev = 31.184/31.360/31.760/0.282 ms
[root@hadoop100 ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.10.100  netmask 255.255.255.0  broadcast 192.168.10.255
        inet6 fe80::5725:926f:c735:1163  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:3c:53:0e  txqueuelen 1000  (Ethernet)
        RX packets 1463  bytes 1783219 (1.7 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 666  bytes 44914 (43.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 72  bytes 8088 (7.8 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 72  bytes 8088 (7.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:ae:69:5e  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@hadoop100 ~]#

注意:

如果网络不通,关闭网络防火墙尝试一下

Windows中关闭网络防火墙:

图片.png

图片.png

CentOS中关闭网络防火墙

[root@hadoop100 ~]# systemctl stop firewalld.service
[root@hadoop100 ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

如果关闭了网络防火墙还没有ping通,再仔细检查相关的配置是否错误

在Windows中ping hadoop100

C:\Users\Administrator>ping hadoop100

Pinging hadoop100.local [fe80::5725:926f:c735:1163%3] with 32 bytes of data:
Reply from fe80::5725:926f:c735:1163%3: time<1ms
Reply from fe80::5725:926f:c735:1163%3: time<1ms
Reply from fe80::5725:926f:c735:1163%3: time<1ms
Reply from fe80::5725:926f:c735:1163%3: time<1ms

Ping statistics for fe80::5725:926f:c735:1163%3:
    Packets: Sent = 4, Received = 4, Lost = 0 (0% loss),
Approximate round trip times in milli-seconds:
    Minimum = 0ms, Maximum = 0ms, Average = 0ms

C:\Users\Administrator>

XShell远程访问工具

Xshell是一款功能强大的远程访问工具，它主要用于远程连接和管理Linux或Unix服务器

官网地址:www.xshell.com/zh/xshell/

图片.png

安装完成后,进行注册免费使用 图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

当然可以使用主机名代替ip地址(前面已经做过ip映射)

进入Windows系统资源管理器中,打开C:\Windows\System32\drivers\etc

图片.png

注意:如果提示无法保存,请复制出来进行相关更改后再保存

图片.png

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

注意: 我后期使用火绒进行断网修复后hosts文件中添加的以上内容就消失了,如果在后期使用时,发生异常可以检查该文件是否被修改

图片.png

图片.png

安装 epel-release

注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包，适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方repository 中是找不到的）

因为CentOS官方仓库在24年6月30日之后已停止维护,这之后使用yum命令可能出现"未知的错误"的字样,出现这个问题可以调整为使用阿里云镜像源

#备份
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#下载阿里源
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
#清理缓存
yum clean all
#运行yum makecache生成缓存
yum makecache
#更新
yum -y update
#下载epel-release
yum install -y epel-release
#下载p7zip
yum install -y p7zip

注意:

如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作

net-tool:工具包集合,包含ifconfig等命令

yum install -y net-tools

vim 编辑器

yum install -y vim

配置muyi用户具有root权限,方便后期加sudo执行root权限的命令

[root@hadoop100 muyi]# vim /etc/sudoers

修改/etc/sudoers 文件，在%wheel 这行下面添加一行，如下所示：

root    ALL=(ALL)       ALL

## Allows members of the 'sys' group to run networking, software, 
## service management apps and more.
# %sys ALL = NETWORKING, SOFTWARE, SERVICES, STORAGE, DELEGATING, PROCESSES, LOCATE, DRIVERS

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL

muyi    ALL=(ALL)       NOPASSWD:ALL

注意：muyi 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先配置了 muyi 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要密码。所以 muyi 要放到%wheel 这行下面。

这样配置后,执行sudo命令即可不需要输入命令就可以执行命令!!!

[root@hadoop100 opt]# ll
总用量 0
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[root@hadoop100 opt]# exit
exit
[muyi@hadoop100 ~]$ cd /opt
[muyi@hadoop100 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[muyi@hadoop100 opt]$ sudo mkdir module
[muyi@hadoop100 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 11月  5 10:36 module
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[muyi@hadoop100 opt]$ rm -r module
rm：是否删除有写保护的目录 "module"？y
rm: 无法删除"module": 权限不够
[muyi@hadoop100 opt]$ sudo rm -r module
[muyi@hadoop100 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[muyi@hadoop100 opt]$ 

[muyi@hadoop100 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[muyi@hadoop100 opt]$ sudo mkdir module
[muyi@hadoop100 opt]$ ll
总用量 0
drwxr-xr-x. 2 root root 6 11月  5 10:40 module
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[muyi@hadoop100 opt]$ chown muyi:muyi /opt/module
chown: 正在更改"/opt/module" 的所有者: 不允许的操作
[muyi@hadoop100 opt]$ sudo chown muyi:muyi /opt/module
[muyi@hadoop100 opt]$ ll
总用量 0
drwxr-xr-x. 2 muyi muyi 6 11月  5 10:40 module
drwxr-xr-x. 2 root root 6 10月 31 2018 rh
[muyi@hadoop100 opt]$

卸载虚拟机自带的JDK

注意:如果你的虚拟机是最小化安装不需要执行这一步

➢ rpm -qa：查询所安装的所有 rpm 软件包

➢ grep -i：忽略大小写

➢ xargs -n1：表示每次只传递一个参数

➢ rpm -e –nodeps：强制卸载软件

[root@hadoop100 muyi]# rpm -qa | grep -i java
java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
java-1.8.0-openjdk-headless-1.8.0.412.b08-1.el7_9.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64
tzdata-java-2024a-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
[root@hadoop100 muyi]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
[root@hadoop100 muyi]# rpm -qa | grep -i java
[root@hadoop100 muyi]#

重启虚拟机

[root@hadoop100 muyi]# reboot
avatar
文章
阅读
粉丝