Hadoop 知识点总结——HDFS读流程和写流程

93 阅读1分钟

大家好,我是风云,欢迎大家关注我的博客【笑看风云路】,在未来的日子里我们一起来学习大数据相关的技术,一起努力奋斗,遇见更好的自己!

前言

HDFS作为Hadoop中的一个重要组件,那么它的读数据和写数据的流程是怎样的呢?今天就来分享一下HDFS的内部的运行机制。

HDFS的读数据流程

描述:

  1. hdfs客户端向NameNode发送下载请求,请求中携带目标文件
  2. NameNode节点响应下载请求,返回目标文件的元数据
  3. 客户端就会根据元数据去数据所在的DataNode节点发送读数据请求
  4. DataNode节点就传输数据到客户端
  5. 所有DataNode节点的数据传输完成

HDFS的写数据流程

在这里插入图片描述 描述:

  1. hdfs 客户端向NameNode节点发送上传文件请求
  2. NameNode响应请求,返回可以上传文件
  3. hdfs 客户端发送要上传第一个Block(0-128MB)的请求
  4. NameNode响应请求,返回存储数据的DataNode的节点信息
  5. 往上一步中得到DataNode节点发送建立Block传输通道的请求
  6. DataNode节点应答成功
  7. 客户端开始向DataNode节点传输数据
  8. 当向所有的DataNode节点的数据传输完成之后,客户端就会给NameNode节点反馈传输数据完成。

好了,今天的分享就先到这来吧,咱们下次见~~~

-------------- end ----------------

微信公众号:扫描下方二维码或 搜索 笑看风云路 关注

笑看风云路