这是我参与「第四届青训营 」笔记创作活动的的第7天
HDFS原理与应用
HDFS功能特性: 分布式：受GFS启发，用Java实现的开源系统，没有实现完整的POSIX文件系统语义 容错：自动处理，规避多种错误场景，例如常见的网络错误，机器宕机等 高可用：一主多备模式实现元数据高可用，数据多副本实现用户数据的高可用 高吞吐：Client直接从DataNode读取用户数据，服务端支持海量client并发读写 可拓展：支持联邦集群模式，DataNode数量可达10W级别 廉价：只需要通用硬件，不需要定制高端的昂贵硬件设备
Client写流程
1，用户创建Bootstrap实例，通过API设置创建客户端相关的参数，异步发起客户端连接；
2，创建客户端连接、I/O读写的Reactor线程组NioEventLoopGroup，可以通过构造函数指定I/O线程的个数，默认为CPU内核的2倍；
3，通过Bootstrap的ChannelFactory和用户指定的Channel类型创建用于客户端连接的NioSocketChannel；
4，创建默认的Channel Handler Pipeline用于调度和执行网络事件；
5，异步发起TCP连接，判断连接是否成功，如果成功直接将NioSocketChannel注册到多路复用器上，监听读操作位，如果没有没连接成功，则注册连接监听位到多路复用器，等待连接结果；
6，注册对应的网络监听状态位到多路复用器；
7，由多路复用器在I/O中轮询各Channel，处理连接结果；
8，如果连接成功，设置Future结果，发送连接成功事件，触发ChannelPipeline执行；
9，由ChannelPipeline调度执行系统和用户的ChannelHandler，执行业务逻辑。
元数据节点NameNode
维护目录树：维护目录树的增删改查操作，保证所有修改都能持久化，以便机器掉电不会造成数据丢失或不一致。 维护文件和数据块的关系：文件被切分成多个块，文件以数据块为单位进行多副本存放 维护文件块存放节点信息：通过接收DataNode的心跳汇报信息，维护集群节点的拓扑结构和每个文件块所有副本所在的DataNode类表 分配新文件存放节点：Client创建新的文件时候，需要有NameNode来确定分配目标DataNode 数据块存取：DataNode需要高效实现对数据块在硬盘上的存取 心跳汇报：把存放在本机的数据块列表发送给NameNode，以便NameNode能维护数据块的位置信息，同时让NameNode确定该节点处于正常存活状态 副本复制：数据写入时Pipeline IO操作；机器故障时补全副本
