Hadoop

#搭建分为

（伪分布）
（完全分布）

伪分布启动分为5个进程 namenode、datanode、jobtracker、tasktracker 、secondary namen 全分布启动主体 NameNode , ResurceManager 、SecondaryNamemNode 子机 DataNode NodeMaManager

在同一网段下进行搭建

映射 (所以），修改主机名（所以）

vi /etc/hosts
vi /etc/hostname

映射

关闭防火墙（所以）

systemctl stop firewalld  
systemctl status firewalld （查看状态）

配置ssh免密

ssh-keygen -t rsa (一直回车)
进行对应虚拟机密码 
ssh-copy-id (虚拟机主机名 master（三台）

设置完进行另外两台文件更新 
scp -r /etc/hosts root@虚拟机名:/etc/hosts
 
 进行验证分布连接俩台虚拟机
 ssh 虚拟机名
 exit 退出

安装配置

hadoop环境配置需要 jdk 和 hadoop tar.z文件

搭建Centos 基本配置
使用xftpcc传输jdk和hadoop bao包到 /etc下
在 CoCentos下解压 tar -zxvf jdk- - - linux-x64.tar.gz （自己jdk包名）解压完后移动文件夹至新文件夹 mv jdk- - - linux-x64 jdk （方便于配置文件“）
同样操作进行hadoop解压 tar -zxvf hadoop- - - - tar,gz mv hadoop- - -- - hadoop
进行java环境配置 vi /etc/profile 在最末尾添加或者 vi/etc/profile.d/java.sh
export JAVA_HOME=jdk路径 export PATH=$JAVA_HOME/bin:$PATH soure /etc/profile.d/java.sh
hadoop配置 vi /etc/profile 或者 vi/etc/profile.d/hadoop.sh export JAVA_HOME=jdk路径 export HADOOP_HOME=hadoop路径

配置生效 source /etc/profile.d/hadoop.sh

进行验证 java -version 如同 hadoop -version 如图

Hadoop文件配置

进入hadoop下的etc/hadoop下五个文件

hadoop-env.sh 修改java_home路径

expor JAVA_HOME= jdk路径 
source hadoop_env.sh

在etc下创建hadoop目录 mkdir hadoop

core-site.xml


<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value> 
[说明：这里master是主机名，做了映射的话用IP地址和主机都可以的]

</property>

<!--配置运行时产出数据存储目录，不是临时数据，可选项-->

<property>

<name>hadoop.tmp.dir</name>

<value>/etc/hadoopdata</value>

( hadoop_tmp是临时存放数据的，不能用于存放hadoop的数据，所以这里要更改)

</property>```

hdfs-site.xml


<property>

<name>dfs.replication</name>

<value>2</value> [子机的个数决定]

</property>```

4.mapred-site.xml

mapred-site.xml.template 修改为mapred-site.xml cp mapred-site.xml.template mapred-site.xml 在进行修改 vi mapred-site.xml


<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5.yarn-site.xml

<nomenodeManager获取数据的方式是shuffle>
<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!--指定Yarn的老大(ResourceManager)的地址-->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>master</value>[说明：master是主机名]

</property>

6.vi /etc/hadoop/hadoop2.2.6/etc/hadoop/slaves

master

进行hadoop初始化

hadoop namenode –format 即可进行初始化，初始化完成查看有无successfully，有则初始化成功（在倒数6行上下）

启动服务

start-all.sh

如果显示错误 profile配有错

查看进程 jps 如有以下

NameNode 
SecondaryNamendoe 
ResourceManager 
DataNode 
NodeManager

ps另外两台都需要一样配可以配置主在进行克隆或者使用 scp进行配置更新 scp -r /etc/hadoop root@slave1:/etc/hadoop scp -r /etc/hadoop root@slave2:/etc/hadoop

Hadoop 伪分布搭建