HDFS-集群扩容及缩容

白黑名单配置

白名单：表示在白名单的主机 IP 地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 黑名单：表示在黑名单的主机 IP 地址不可以，用来存储数据。企业中：配置黑名单，用来退役服务器。

1. 在 NameNode 节点的/opt/module/hadoop-3.1.3/etc/hadoop 目录下分别创建 whitelist 和blacklist 文件
2. 在 hdfs-site.xml 配置文件中增加 dfs.hosts 配置参数
3. 分发配置文件 whitelist，hdfs-site.xml
4. 第一次添加白名单必须重启集群，不是第一次，只需要刷新 NameNode 节点即可
5. 刷新命令：hdfs dfsadmin -refreshNodes 配置参数如下：

<!-- 白名单 -->
<property>
 <name>dfs.hosts</name>
 <value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value>
</property>
<!-- 黑名单 -->
<property>
 <name>dfs.hosts.exclude</name>
 <value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value>
</property>

服役新节点：

1. 准备环境（各个模块配置）；
2. 直接启动 DataNode，即可关联到集群：
   • hdfs --daemon start datanode
   • yarn --daemon start nodemanager
3. 在白名单中增加新服役的服务器
4. 将配置文件分发；
5. 刷新NameNode
   • hdfs dfsadmin -refreshNodes

退役节点

1. 将退役节点添加到黑名单；
2. 分发配置；
3. 刷新NameNode
   • hdfs dfsadmin -refreshNodes
4. 退役节点的状态为 decommission in progress（退役中），说明数据节点正在复制块到其他节点；等待退役节点状态为 decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是 3，服役的节点小于等于 3，是不能退役成功的，需要修改副本数后才能退役。