使用虚拟机配置Hadoop集群环境的搭建

934 阅读3分钟

这是我参与8月更文挑战的第22天,活动详情查看:8月更文挑战

WangScaler: 一个用心创作的作者。

声明:才疏学浅,如有错误,恳请指正。\

现在人工智能和大数据是热门行业,作为程序员我们怎么能不去研究研究呢,今天就和我从零开始看看大数据的相关知识。 先从最基本的环境搭建开始,慢慢的去了解什么是大数据。

centos系统的安装

我们这里是用虚拟机模拟的虚拟环境,如果你有条件可以直接使用真机,当然也可以使用docker来部署三台linux服务器,像惠普的电脑不能同时使用Vmware虚拟机和docker容器,因为Vmware和hyper-v不兼容,那就选择一种你最熟悉的装三台机器即可。

  • 1、下载安装Vmware虚拟机(百度解决)
  • 2、使用centeros 系统(百度解决) 上边两步网上资料很多,可以参考网上的资料轻松解决,这里不再赘述。

虚拟机网络配置

为了集群之间相互通信,需要先为每台centos机器设置固定ip。如果你是VMware虚拟机,可通过 虚拟机工具栏->编辑->虚拟网络编辑器->查看网关的地址。我这里是192.168.253.0。所以我们应该把机器的IP设置在192.168.253.xxx。

image.png 那么接下来打开机器,准备修改。vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
HWADDR=00:0C:29:BF:58:0C
TYPE=Ethernet
UUID=c05ca7fc-a6e2-4eb5-b723-c93d7ae68634
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.253.130
NETMASK=255.255.255.0
GATEWAY=192.168.253.2
DNS1=192.168.253.2

我这里的IP地址修改成192.168.253.130。你可以根据你的情况进行配置。

image.png 配置完成之后需要重启服务,让配置生效,可执行命令service network restart 重启服务。

安装所需软件

  • zip用来解压压缩包
  • vim用来编辑文件,一般默认的系统只有vi,我们选择vim,你不安装使用vi也可以
  • openssh-server、openssh-clients用来生成密匙文件,这样集群之间可以通过ssh免密登录。

1、配置本地yum源

/etc/yum.repos.d文件夹下,先将原有的文件进行备份,防止我们修改之后出错,导致不可逆的情况出现,做一份保险,希望大家都有这个好习惯。 mv CentOS-Base.repo CentOS-Base.repo.bak 接下来修改文件 vi CentOS-Media.repo 修改之后的内容如下:

[c6-media]
name=CentOS-$releasever - Media
baseurl=file:///media/
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

准备挂载 mount /dev/dvd /media 注意/media前有空格,如果提示

image.png 在虚拟机设置里cd/dvd选项将设备状态中的已连接打对勾,再次重试上述的命令,

image.png 表示成功

2、安装

接下来开始安装我们需要的一些工具,

yum clean all
yum install -y vim zip openssh-server openssh-clients

安装完成,下篇文章我们就使用这些工具完善我么的集群。 本人本篇SCDN原文:大数据开发一 集群环境的搭建,大家可以先预览后续的文章。

来都来了,点个赞再走呗!

关注WangScaler,祝你升职、加薪、不提桶!