这是我参与8月更文挑战的第22天,活动详情查看:8月更文挑战
WangScaler: 一个用心创作的作者。
声明:才疏学浅,如有错误,恳请指正。\
现在人工智能和大数据是热门行业,作为程序员我们怎么能不去研究研究呢,今天就和我从零开始看看大数据的相关知识。 先从最基本的环境搭建开始,慢慢的去了解什么是大数据。
centos系统的安装
我们这里是用虚拟机模拟的虚拟环境,如果你有条件可以直接使用真机,当然也可以使用docker来部署三台linux服务器,像惠普的电脑不能同时使用Vmware虚拟机和docker容器,因为Vmware和hyper-v不兼容,那就选择一种你最熟悉的装三台机器即可。
- 1、下载安装Vmware虚拟机(百度解决)
- 2、使用centeros 系统(百度解决) 上边两步网上资料很多,可以参考网上的资料轻松解决,这里不再赘述。
虚拟机网络配置
为了集群之间相互通信,需要先为每台centos机器设置固定ip。如果你是VMware虚拟机,可通过 虚拟机工具栏->编辑->虚拟网络编辑器->查看网关的地址。我这里是192.168.253.0。所以我们应该把机器的IP设置在192.168.253.xxx。
那么接下来打开机器,准备修改。vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:BF:58:0C
TYPE=Ethernet
UUID=c05ca7fc-a6e2-4eb5-b723-c93d7ae68634
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.253.130
NETMASK=255.255.255.0
GATEWAY=192.168.253.2
DNS1=192.168.253.2
我这里的IP地址修改成192.168.253.130。你可以根据你的情况进行配置。
配置完成之后需要重启服务,让配置生效,可执行命令service network restart
重启服务。
安装所需软件
- zip用来解压压缩包
- vim用来编辑文件,一般默认的系统只有vi,我们选择vim,你不安装使用vi也可以
- openssh-server、openssh-clients用来生成密匙文件,这样集群之间可以通过ssh免密登录。
1、配置本地yum源
在/etc/yum.repos.d
文件夹下,先将原有的文件进行备份,防止我们修改之后出错,导致不可逆的情况出现,做一份保险,希望大家都有这个好习惯。
mv CentOS-Base.repo CentOS-Base.repo.bak
接下来修改文件
vi CentOS-Media.repo
修改之后的内容如下:
[c6-media]
name=CentOS-$releasever - Media
baseurl=file:///media/
gpgcheck=0
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
准备挂载
mount /dev/dvd /media
注意/media前有空格,如果提示
在虚拟机设置里cd/dvd选项将设备状态中的已连接打对勾,再次重试上述的命令,
表示成功
2、安装
接下来开始安装我们需要的一些工具,
yum clean all
yum install -y vim zip openssh-server openssh-clients
安装完成,下篇文章我们就使用这些工具完善我么的集群。 本人本篇SCDN原文:大数据开发一 集群环境的搭建,大家可以先预览后续的文章。
来都来了,点个赞再走呗!
关注WangScaler,祝你升职、加薪、不提桶!