hadoop

NameNode和datanode工作原理的解析；以及NameNode和SecondaryNameNode的关系

基础知识 1. HDFS读流程 客户端通过 DistributedFileSystem 向 NameNode 请求下载文件，NameNode 通过查询元数据，找到文件块所在的 DataNode 地址。

1. mapreduce调优 map调优 自定义分区，减少数据倾斜 自定义类，继承Partitioner接口，重写getPartition方法； 减少溢写次数 mapreduce.task.io.so

白黑名单配置 白名单：表示在白名单的主机 IP 地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 黑名单：表示在黑名单的主机 IP 地址不可以，用来存储数据。企业中：配置黑名

磁盘间负载均衡 服务器间负载均衡 注意：由于 HDFS 需要启动单独的 Rebalance Server 来执行 Rebalance 操作，所以尽量不要在 NameNode 上执行 start-bal

NameNode 多目录配置 在 hdfs-site.xml 文件中添加如下内容（两个目录结构下的数据相同） DataNode 多目录配置 在 hdfs-site.xml 文件中添加如下内容（两个目录

写测试 写测试底层： 测试命令行： doop-mapreduce-clientjobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -file