仇彦均

本文深入解析Hadoop NameNode三大关键监控维度：JVM指标（堆内存、GC时间）、RPC性能（队列时间、处理延迟、排队请求数）及元数据（文件数、块数、异常节点）。...

背景 HDFS 文件系统中，有业务部门存放的大量模型训练数据，日志文件等。这些文件往往体积超过1G。会产生大量的文件快，从而对NameNode 内存产生压力，下面介绍几种常...

在之前的文章中，写了关于小文件对 NameNode 的影响。那么假设往 Hadoop 上存放大量的大文件（如1～10GB）会对 NameNode 有什么影响。这篇文章主要从...

背景 工作中有很多大数据运维治理方面的场景，比如 HDFS 小文件治理，数据生命周期管理，大文件压缩等。所以做了这个工具箱，方便使用。 项目地址：https://githu...

Hadoop 系统中的小文件（远小于默认块大小的文件）会严重损害集群性能。它们显著增加 NameNode 的内存压力。同时，DataNode 汇报块信息时，磁盘寻址时间远超...