一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第7天，点击查看活动详情。 **
HADOOP集群的搭建
1.HADOOP单机版的安装 我这用的是centos，java环境是必备
hadoop的单机版的安装
a.解压安装包到指定目录
先找到hadoop的解压包
再给他解压到/usr/local
在 cd /usr/local中出现hadoop-2.7.1,这里放着hadoop的参数
b.为hadoop配置环境变量，在 根目录下 /etc/profile下编辑环境变量 临时生效，source /etc/profile
c.配置hadoop的安装目录下的/etc/hadoop/hadoop-env.sh(配置java环境)
d 测试 which hadoop hadoop version
2.HADOOP集群的配置
先克隆两台机器，在vm上点击克隆按钮 ，分别为hadoop02,hadoop03 两台虚拟机
克隆之后需要以下配置：
修改网卡信息
在hadoop02,03进入到下面的形式，看那个name=
修改主机名：根据i名称而定
修改IP信息，UUID要不一样，可以在前面的数字改一下，还有HWADDR在机上查看
克隆之后有可能出现的问题
配置五个文件：
a. vi ./etc/hadoop/hadoop-env.sh
b.vi /etc/hadoop/core-site.xml
c.vi ./etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.dir</name>
<value>/home/hadoop/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.dir</name>
<value>/home/hadoop/hadoopdata/dfs/data</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<name>dfs.http.address</name>
<value>hadoop01:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop01:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
d.vi ./etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
</configuration>
e:vi ./etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>
<property>
<name>yarn.resoucemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
</configuration>
f:配置slave
g:远程分发
1.把之前的hadoop 02，hadoop03 配置删除带掉
然后在hadoop01上用下列语句
scp -r ../hadoop-2.7.1/ hadoop02:/usr/local/
scp -r ../hadoop-2.7.1/ hadoop03:/usr/local/
SSH免密登陆
测试
ssh hadoop01 不会要密码
之后在hadoop02,03都这样密码
远程分发后，再格式化
成功格式化
启动方式
正常出现的界面 输入：192.168.40.23:50070
这样HADOOP集群就搭建成功了，注意看LIVE node
注意：
hadoop02,hadoop03里的配置都是这个
