这是我参与「第四届青训营 」笔记创作活动的第4天
- HDFS基本介绍 1.1 HDFS产出背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 1.2 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。 1.3 HDFS的优缺点 优点：
- 大容量：更多的机器，更多的存储介质。
- 高可靠：多个副本提高容错能力。
- 低成本：不需要高端硬件来扩容。
缺点：
- 不适合低延时数据访问：做不到毫秒级。
- 无法高效的对大量小文件进行存储。
- 不支持并发写入、文件随机修改。
1.4 HDFS功能特性
- 分布式
- 高吞吐
- 容错
- 可扩展
- 高可用
- 廉价
- HDFS架构原理 2.1 HDFS组件 2.1.1 NameNode：Master，它是一个主管、管理者。
- 维护目录树
- 维护文件和数据块的关系
- 维护文件块存放节点信息
- 分配新文件存放节点 2.1.2 DataNode：Slave，NameNode下达命令，DataNode执行实际的操作。
- 数据块存取
- 心跳汇报
- 副本复制 2.1.3 Client：客户端
- 文件切分与NameNode、DataNode交互 2.1.4 Secondary NameNode
- 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
- 在紧急情况下，可辅助恢复NameNode
