Install
目标
- 掌握Linux系统安装
- 掌握Linux常用命令
- 掌握Hadoop集群搭建
- 掌握相关软件的安装
- 明白常见问题处理
1 Linux
1.1 Centos7安装
-
准备
- 虚拟机：VMware15
- SSH连接：SecureCRT
- 系统：Centos7.7
-
安装
-
网络配置
重启网络：service network restart
-
路径：/etc/sysconfig/network-scripts/路径下的ifcfg-ens33文件
-
重点信息
BOOTPROTO=static ONBOOT=yes IPADDR=192.168.xxx.200 NETMASK=255.255.255.0 GATEWAY=192.168.xxx.2 DNS1=114.114.114.114 DNS2=8.8.8.8
-
-
相关问题
-
防火墙
firewall-cmd --state，查看默认防火墙状态（关闭后显示notrunning，开启后显示running） systemctl stop firewalld.service，停止firewall systemctl disable firewalld.service，禁止firewall开机启动 -
共享文件夹
-
网络
Failed to start LSB: Bring up/down networking. # 解决方案：禁用NetworkManager systemctl stop NetworkManager systemctl disable NetworkManager
-
1.2 Linux常用命令
2 Hadoop集群搭建
2.1 Hadoop
官网：hadoop.apache.org/docs/r2.9.2…
-
卸载系统自带Java
java -verison rpm -qa | grep jdk 除.noarch,其余全部删除 rpm -e --nodeps XXX -
修改hostname
# 修改主机名 hostnamectl set-hostname xxx # 设置master和slave1，slave2关系 # 添加salve1，slave2的ip和hostname vim /etc/hosts -
添加环境变量
# 对当前用户生效 vim ~/.bash_profile # 对所有用户生效 vim /etc/profile # 执行生效命令 source ~/.bash_profile or source /etc/profile -
免密登录
- 创建公钥/私钥
ssh-keygen -t rsa # 然后yes一路回车即可- 创建authorized_keys文件并修改权限为600
cd .ssh touch authorized_keys chmod 600 authorized_keys- 将公钥追加到authorized_keys文件中去
# 分别master、slave1、slave2的公钥都追加到authorized_keys cat id_rsa.pub >> authorized_keys # 测试登录 ssh master/slave1/slave2
2.2 配置
-
修改配置
-
修改core-site.xml配置tmp目录
-
修改hadoop-env.sh配置JAVA_HOME
-
修改hdfs-site.xml配置dfs/name,dfs/data
-
修改mapred-site.xml配置yarn名称
-
修改slaves文件配置从节点
-
修改yarn-site.xml文件配置RM端口等
-
-
格式化&启动
- 格式化
bin/hadoop namenode -format- 启动
sbin/start-all.sh # jps查看 若有如下则成功 4464 ResourceManager 4305 SecondaryNameNode 4972 Jps 4094 NameNode
3 总结
万事开头难，我一直都认为任何项目开发，最初的安装配置是最最麻烦的。
本篇文章主要总结VMware安装CentOS7以及Hadoop的安装配置，回想当初我自己摸索，期间遇到各种各样的坑，然后花了快两天掉了N多根头发才彻底搞定。说起来，本文所讲的安装方面的坑还只是一部分，有些很容易百度的就没必要在这里阐述。
发现问题，总结思考，然后尝试自己解决问题，进步才会明显。
好了，今天就到这里，拜了个拜~
