Hadoop联邦机制实现多命名空间详细配置说明-Hadoop商业环境实战本套技术专栏是作者（秦凯新）平时工作的总结和升华

本套技术专栏是作者（秦凯新）平时工作的总结和升华，通过从真实商业环境抽取案例进行总结和分享，并给出商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。QQ邮箱地址：1120746959@qq.com，如有任何学术交流，可随时联系。

1 federation的配置（分而治之，不同命名空间管理不同的dataNode）

1：配置统一视图viewfs:///
2: 配置具体的挂载

core-site.xml配置

  <configuration>
          <property>
                  <name>fs.defaultFS</name>
                  <value>viewfs:///</value>
          </property>
          <property>
                  <name>fs.viewfs.mounttable.default.link./my</name>
                  <value>hdfs://Master/</value>
          </property>
          <property>
                  <name>fs.viewfs.mounttable.default.link./your</name>
                  <value>hdfs://Worker1/</value>
          </property>
  	    <property>
  				<name>hadoop.tmp.dir</name>
  				<value>/log_all/hadoop</value>
  	    </property>
  </configuration>

2hdfs-site.xml配置：

1：指定dfs.nameservices，也即两个Hdfs实例。比如：mycluster,yourcluster

2：配置两个Hdfs实例的 rpc-address和http-address。

  	<property>
              <name>dfs.nameservices</name>
              <value>mycluster, yourcluster</value>
      </property>
      <property>
              <name>dfs.namenode.rpc-address.mycluster</name>
              <value>Master:9000</value>
      </property>
      <property>
              <name>dfs.namenode.rpc-address.yourcluster</name>
              <value>Worker1:9000</value>
      </property>
      <property>
              <name>dfs.namenode.http-address.mycluster</name>
              <value>Master:50070</value>
      </property>
      <property>
              <name>dfs.namenode.http-address.yourcluster</name>
              <value>Worker1:50070</value>
      </property>
  	

      <property>
              <name>dfs.replication</name>
              <value>1</value>
      </property>
      <property>
              <name>dfs.namenode.name.dir</name>
              <value>/home/dfs/name</value>
      </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>/home/dfs/data</value>
      </property>
      <property>
              <name>dfs.datanode.edit.dir</name>
              <value>/home/dfs/edit</value>
      </property>
      <property>
              <name>dfs.permissions</name>
              <value>false</value>
      </property>

3 启动

1:namenode1上执行格式化(注意：namenode1和namenode2上的clusterid要保持一致。)
```
   $HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty
```
2:在namenode2上执行格式化(注意：namenode1和namenode2上的clusterid要保持一致。)
```
  $HADOOP_HOME/bin/hdfs namenode -format –clusterId hellokitty
```
3：在namenode1启动namenode，在namenode2启动namenode
```
   $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
```

4 总结

秦凯新于深圳 20181219