这是我参与更文挑战的第9天,活动详情查看:更文挑战
今天正式开始Hadoop学习之路,编者之前编写的Linux和Shell都是学习大数据的基石,还是得总整体上去把握,遇到问题可以有针对性去解决,提高工作效率。好了,废话不多说啦,我们进入正题:大数据Hadoop之运行环境搭建。本文若有编写不当之处,望各位大数据从业者或者爱好者指正或给予更好的建议,大家一起在大数据之路中慢慢成长。
Hadoop运行环境是大数据开发从业者的必备技能,但小编认为只要你在大数据相关部门工作都得了解,这样有利于你的成长与发展。本文Linux系统版本选择的是CentOS6.8,小编将从以下3个方面进行讲解:(1)虚拟机环境准备;(2)安装JDK及Hadoop;(3)Hadoop目录结构。
你电脑之前如果已经装好虚拟机和CentOS,那这个过程对你来说:So Easy。要是没有的话,也不要急,请看小编给你准备的0基础搭建:大数据技术之Linux实用实操(一)。克隆虚拟机很简单,具体看下图:
然后就开始克隆,几乎是一路下一步,具体看下面截图:
开启虚拟机,用root账号登录,修改ip,具体步骤见下图:
打开终端输入命令:vim /etc/udev/rules.d/70-persistent-net.rules
进来之后干三件事:(1)按dd删除一条“SUBSYTEM”;(2)将NAME="eth1"改为eth0;(3)复制address,以备后用。具体结果如下图:
接下来,输入以下命令:vim /etc/sysconfig/network-scripts/ifcfg-eth0,进行网络配置,修改如图内容:
修改后如图,圈的yes、static以及网关根据自己之前设置的不要随便改:
前面做好后,接下里就是修改主机名,命令为:vim /etc/sysconfig/network
配置hosts文件,命令为:vim /etc/hosts,修改内容如下图:
重启服务,重启虚拟机查看ip,接着用ping命令去检验网络
简单,用命令:useradd xxxx 和passwd xxx .....,就可以轻松搞定
下面的操作都是用Xshell连接,进行操作。我习惯这个,你也可以直接在虚拟机上操作。或者用其它远程连接工具。
涉及命令:vim /etc/sudoers,进行权限配置
想必大家听到JDK是不是想到Java那个难啊,一入java深似海。别怕,这里只是配置一个Java环境而已,Hadoop框架是基于Java开发,没这东西你没法玩啊。安装JDK准备工作有以下2个准备工作:(1)在/opt目录下创建module、software文件夹;(2)修module、software文件夹的所有者。这个2个目录的作业分为为:(1)software存放jar包,也就是软件安装包;(2)module是软件的安装目录。
当然这里你也有其它方法,不过我个人推荐用Xshell和Xftp软件这个直观方便,很好用的。
3、在linux系统下的opt目录中检查一下是否导入成功
命令tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
你电脑之前如果已经装好虚拟机和CentOS,那这个过程对你来说:So Easy。要是没有的话,也不要急,请看小编给你准备的0基础搭建:大数据技术之Linux实用实操(一)。克隆虚拟机很简单,具体看下图:
以后便是JDK的安装全过程,下面安装Hadoop,方法和过程一样,小编就不多说啦,请参照JDK安装。
hadoop下载地址:archive.apache.org/dist/hadoop…
学习一个知识,你就得先认识它。现在我们学习Hadoop就得认识一下Hadoop。这点和我们平时人际交往一样的,都是从认识到相知慢慢来的。好了,废话不多说,进入正题。
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例
小编后续将继续更新大数据等内容,请保持关注。更多精彩内容,请关注公众号:小韩学长带你学