首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
仇彦均
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
最新
热门
大数据面试之 NameNode 性能监控指标深度解析
本文深入解析Hadoop NameNode三大关键监控维度:JVM指标(堆内存、GC时间)、RPC性能(队列时间、处理延迟、排队请求数)及元数据(文件数、块数、异常节点)。提供最佳实践经验。
HDFS 文件压缩算法
背景 HDFS 文件系统中,有业务部门存放的大量模型训练数据,日志文件等。这些文件往往体积超过1G。会产生大量的文件快,从而对NameNode 内存产生压力,下面介绍几种常见压缩算法以及如何选择,可供
大文件对 Hadoop 文件系统的影响
在之前的文章中,写了关于小文件对 NameNode 的影响。那么假设往 Hadoop 上存放大量的大文件(如1~10GB)会对 NameNode 有什么影响。这篇文章主要从内存消耗、元数据管理、故障恢
【大禹】大数据运维工具箱,小文件合并功能简介
背景 工作中有很多大数据运维治理方面的场景,比如 HDFS 小文件治理,数据生命周期管理,大文件压缩等。所以做了这个工具箱,方便使用。 项目地址:https://github.com/qiuyanju
Hadoop 系统中小文件的危害及解决方案
Hadoop 系统中的小文件(远小于默认块大小的文件)会严重损害集群性能。它们显著增加 NameNode 的内存压力。同时,DataNode 汇报块信息时,磁盘寻址时间远超网络传输,极大拖慢恢复速度。
个人成就
文章被阅读
238
掘力值
65
关注了
0
关注者
4
收藏集
0
关注标签
5
加入于
2025-06-11