首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
01.hdfs&yarn
订阅
katapiupiu
更多收藏集
微信扫码分享
微信
新浪微博
QQ
4篇文章 · 0订阅
带你入坑大数据(四)--- 资源调度框架Yarn
在MapReduce的时候也许很多人会有这种疑问:写了MR后,map task和reduce task是如何在多节点上并行执行的,而且又是怎么决定哪个任务执行再哪个节点上的?其实这些问题都是和这个Yarn有关。因为Yarn这个框架其实不仅仅是支持MR,还可以运行各种各样的程序。…
带你入坑大数据(三) --- MapReduce介绍
简单回顾一下HDFS的写流程,MapReduce基础知识及机制了解,更详细的可以到我主页之后的MapReduce章节去查看
带你入坑大数据(二) --- HDFS的读写流程和一些重要策略
Distributed FileSystem顾名思义是一个分布式文件系统,它会通过RPC的方式远程过程调用NameNode里的open方法,这个open方法有什么作用呢,就是获取要读的文件的file block locations,也就是文件的block的位置,在上一讲我们也已…
带你入坑大数据(一) --- HDFS基础概念篇
从零开始的高并发系列我们已经把 zookeeper 给更新完了,顺带一提之前的zookeeper并没有结合大数据来进行说明。重新开个坑一方面是一直都想找个理由来总结一下大数据方面的东西,另一方面则是抓住时代的走向吧,毕竟也是为了自己,所以废话不多说我们就开始吧。 单个文件比较大…