hadoop系列（7）---Hadoop搭建-分布式模式与高可用模式

这是我参与11月更文挑战的第7天，活动详情查看：2021最后一次更文挑战」

分布式模式

• core-site.xml 不需要改

• hdfs-site.xml

       <!--副本数修改为2个-->
			  <property>
				<name>dfs.replication</name>
				<value>2</value>
			  </property>

			  <property>
				<name>dfs.namenode.name.dir</name>
				<value>/var/bigdata/hadoop/full/dfs/name</value>
			    </property>
			    <property>
				 <name>dfs.datanode.data.dir</name>
				 <value>/var/bigdata/hadoop/full/dfs/data</value>
			   </property>

        <!-- 修改 secondary 在hadoop2节点工作-->
			   <property>
				<name>dfs.namenode.secondary.http-address</name>
				 <value>hadoop2:50090</value>
			   </property>
			   <property>
				<name>dfs.namenode.checkpoint.dir</name>
				<value>/var/bigdata/hadoop/full/dfs/secondary</value>
			 </property>

		

	

• 设置dataNode工作节点

hadoop2
hadoop3

• 将配置分发到其他其他节点

			cd /opt
			scp -r ./bigdata/  hadoop2:`pwd`
			scp -r ./bigdata/  hadoop3:`pwd`

• 初始化&启动

hdfs namenode -format
start-dfs.sh

高可用模式

节点	NN	SNN	DN	ZKFC	ZK
hadoop1	*			*
hadoop2	*	*	*	*	*
hadoop3			*		*
hadoop4			*		*

首先需要在hadoop2、hadoop3、hadoop4配置zookeeper

• core-site.xml

<property>
		  <name>fs.defaultFS</name>
		  <value>**hdfs://cluster**</value>
</property>
<!--配置zookeeper集群地址-->
<property>
		 <name>ha.zookeeper.quorum</name>
		 <value>hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
</property>

• hdfs-site.xml

<configuration>
    <property>
		**<!--副本数-->**
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
		**<!--namenode数据存储目录-->**
        <name>dfs.namenode.name.dir</name>
        <value>/var/bigdata/hadoop/ha/dfs/name</value>
    </property>

    <property>
		**<!--datanode数据存储目录-->**
        <name>dfs.datanode.data.dir</name>
        <value>/var/bigdata/hadoop/ha/dfs/data</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        **<!--cluster为自定义-->**
        <value>cluster</value>
    </property>
    <property>
        **<!--cluster为自定义-->**
        <name>dfs.ha.namenodes.cluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        **<!--cluster为自定义-->**
        <name>dfs.namenode.rpc-address.cluster.nn1</name>
        <value>hadoop1:8020</value>
    </property>
    <property>
        **<!--cluster为自定义-->**
        <name>dfs.namenode.rpc-address.cluster.nn2</name>
        <value>hadoop2:8020</value>
    </property>
    <property>
        **<!--cluster为自定义-->**
        <name>dfs.namenode.http-address.cluster.nn1</name>
        <value>hadoop1:50070</value>
    </property>
    <property>
        **<!--cluster为自定义-->**
        <name>dfs.namenode.http-address.cluster.nn2</name>
        <value>hadoop2:50070</value>
    </property>

    **<!--qjournal工作节点-->**
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/cluster</value>
    </property>
  **  <!--journal数据存储目录-->**
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/var/bigdata/hadoop/ha/dfs/jn</value>
    </property>

   ** <!--定义HDFS客户端用来和活动的namenode联系的java类-->**
    <property>
        **<!--cluster为自定义-->**
            <name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    **<!--远程调用的方式 ：ssh的 还有可以用shell脚本的-->**
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    **<!--ssh免密码秘钥配置-->**
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_dsa</value>
    </property>
    **<!--开启自动故障转移-->**
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
</configuration>