Hadoop
3篇文章 · 0订阅
  • 【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍
    上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。 主要分析了edits log写入磁盘和网络的时候，是如何通过分段加锁以及双缓冲的机制，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。 如果没看那篇文章的同学，可以…
    后端 架构 Hadoop
    【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍
  • 大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
    上篇文章我们已经初步给大家解释了Hadoop HDFS的整体架构原理，相信大家都有了一定的认识和了解。 如果没看过上篇文章的同学可以看一下：《兄弟，用大白话告诉你小白都能听懂的Hadoop架构原理》这篇文章。 我们先来分析一下，高并发请求NameNode会遇到什么样的问题。 写…
    后端 架构 Hadoop
    大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
  • 兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理
    Hadoop是目前大数据领域最主流的一套技术体系，包含了多种技术。 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 有些朋友可能听说过Hadoop，但是却不太清楚他到底是个什么东西，这篇文章就用大白话给各位阐述一下。…
    Java 架构 微服务
    兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理