hadoop系列（6）---Hadoop搭建-前置环境与单机模式

这是我参与11月更文挑战的第6天，活动详情查看：2021最后一次更文挑战」

前置环境

#关闭防火墙
	service iptables stop
	chkconfig iptables off
	关闭 selinux
	vim /etc/selinux/config
		SELINUX=disabled
	

#做时间同步
yum install ntp  -y
vim /etc/ntp.conf  >>>>>   server ntp1.aliyun.com	
service ntpd start
chkconfig ntpd on

#安装JDK：
	rpm -i   jdk-8u181-linux-x64.rpm	
**(*有一些软件只认：/usr/java/default)**
vim /etc/profile     
		export  JAVA_HOME=/usr/java/default
		export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile  

免密配置

#1,验证自己还没免密 
ssh  localhost  →  被动生成了  /root/.ssh   
#2,生成秘钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
-----------------------------------------------------------
-rw-r--r-- 1 root root 602 9月  28 15:58 authorized_keys
-rw------- 1 root root 672 9月  28 15:57 id_dsa
-rw-r--r-- 1 root root 602 9月  28 15:57 id_dsa.pub
-rw-r--r-- 1 root root 723 9月  28 17:03 known_hosts
-----------------------------------------------------------
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

####想要登录哪个节点就把*.pub公钥的内容添加到哪个节点的authorized_keys当中

单机模式

mkdir /opt/bigdata/hadoop
cd  /opt/bigdata/hadoop
wget <https://mirrors.nav.ro/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz>
tar xf hadoop-2.10.1.tar.gz
cd hadoop-2.10.1
pwd   
-----------------------------------------------------------
/opt/bigdata/hadoop/hadoop-2.10.1
-----------------------------------------------------------

#将hadoop环境配置进环境变量
vim /etc/profile	
-----------------------------------------------------------
		export JAVA_HOME=/usr/java/default
		export PATH=$PATH:$JAVA_HOME/bin
		export HADOOP_HOME=/opt/bigdata/hadoop/hadoop-2.10.1
		export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
-----------------------------------------------------------

source /etc/profile

#配置hadoop的角色：（必须给hadoop配置javahome要不ssh过去找不到）
cd   $HADOOP_HOME/etc/hadoop	
	
vim hadoop-env.sh

-----------------------------------------------------------
		export JAVA_HOME=/usr/java/default
-----------------------------------------------------------

• core-site.xml

**<!--给出NN角色在哪里启动-->**
 <property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop1:9000</value>
</property>

• hdfs-site.xml

<!--配置副本数量-->
<property>
	<name>dfs.replication</name>
	<value>	1</value>
</property>
<!--fsimage&editlog&namenode一些相关文件的存放目录地址-->
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/var/bigdata/hadoop/local/dfs/name</value>
</property>
<!--namenode启动的节点和端口-->
<property>
	<name>dfs.namenode.http-address</name>
	<value>hadoop1:50070</value>
</property>
<!--datanode数据存放目录地址（存放这block）-->
<property>
	<name>	dfs.datanode.data.dir</name>
	<value>/var/bigdata/hadoop/local/dfs/data</value>
</property>
<!--secondary启动的节点和端口-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>hadoop1:50090</value>
</property>
<!--secondary的工作目录也就是从nameNode拉取fsimage和editlog存放位置-->
<property>
	<name>dfs.namenode.checkpoint.dir</name>
	<value>/var/bigdata/hadoop/local/dfs/secondary</value>
</property>

• slaves 文件

#填入datanode运行的节点
hadoop1

• 初始化HDFS

hdfs namenode -format
#这条操作会使得hdfs创建配置中namenode的目录
#并初始化一个空的fsimage、生成VERSION和CID

• 启动

#第一次：datanode和secondary角色会初始化创建自己的数据目录

start-dfs.sh