首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
hadoop
stay_foolish
创建于2021-06-21
订阅专栏
hadoop
等 1 人订阅
共7篇文章
创建于2021-06-21
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
namenode && datanode
NameNode和datanode工作原理的解析;以及NameNode和SecondaryNameNode的关系
HDFS
基础知识 1. HDFS读流程 客户端通过 DistributedFileSystem 向 NameNode 请求下载文件,NameNode 通过查询元数据,找到文件块所在的 DataNode 地址。
mapreduce && yarn 常见调优参数
1. mapreduce调优 map调优 自定义分区,减少数据倾斜 自定义类,继承Partitioner接口,重写getPartition方法; 减少溢写次数 mapreduce.task.io.so
HDFS-集群扩容及缩容
白黑名单配置 白名单:表示在白名单的主机 IP 地址可以,用来存储数据。企业中:配置白名单,可以尽量防止黑客恶意访问攻击。 黑名单:表示在黑名单的主机 IP 地址不可以,用来存储数据。企业中:配置黑名
HDFS-数据负载均衡 磁盘&&服务器
磁盘间负载均衡 服务器间负载均衡 注意:由于 HDFS 需要启动单独的 Rebalance Server 来执行 Rebalance 操作,所以尽量不要在 NameNode 上执行 start-bal
HDFS-多目录
NameNode 多目录配置 在 hdfs-site.xml 文件中添加如下内容(两个目录结构下的数据相同) DataNode 多目录配置 在 hdfs-site.xml 文件中添加如下内容(两个目录
HDFS-集群压测
写测试 写测试底层: 测试命令行: doop-mapreduce-clientjobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -file