这是我参与「第四届青训营 」笔记创作活动的的第8天

HDFS优点

1、高容错性

   数据自动保存多个副本

   副本丢失后，自动恢复

2、适合批处理

   移动计算而非数据

   数据位置暴露给计算框架

3、适合大数据处理

   GB、TB、甚至PB级数据

   百万规模以上的文件数量

   10K+节点规模

4、流式文件访问

   一次性写入，多次读取

   保证数据一致性

5、可构建在廉价机器上

   通过多副本提高可靠性

   提供了容错和恢复机制

HDFS缺点

1、低延迟数据访问

   比如毫秒级-达不到

   低延迟与高吞吐率

2、小文件存取

   占用NameNode大量内存

   寻道时间超过读取时间

3、并发写入、文件随机修改

   一个文件只能有一个写者

   仅支持append

分布式文件系统的一种实现方式：把大文件根据规则切分成小文件存储在不同的机器上

HDFS基本架构和原理

HDFS设计思想

HDFS数据块

1、文件被切分成固定大小的数据块

   默认数据块大小为128MB，可配置

   若文件大小不到128MB，则单独存成一个block

2、为何数据块如此之大

   数据传输时间超过寻道时间(高吞吐率)

3、一个文件存储方式

   按大小被切分成若干个block，存储到不同节点上

   默认情况下每个block有三个副本[最小的2N+1>1]

HDFS写流程

HDFS读流程

HDFS不适合存储小文件

1、元信息存储在NameNode内存中

   一个节点的内存是有限的

2、存取大量小文件消耗大量的寻道时间

   类比拷贝大量小文件与拷贝同等大小的一个大文件

3、NameNode存储block数目是有限的

   一个block元信息消耗大约150 byte内存

   存储1亿个block，大约需要20GB内存

   如果一个文件大小为10K，则1亿个文件大小仅为1TB(但要消耗掉NameNode 20GB内存)