说出你的愿望吧

Spark的知识点很多，决定分多P来慢慢讲🤣，比较关键的RDD算子其实已经写了大半，奈何内容还是太多了就不和这篇扯皮的放一起了。 spark是在Hadoop基础上的改进，是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算…

如果在文中用词或者理解方面出现问题，欢迎指出。此文旨在提及而不深究，但会尽量效率地把知识点都抛出来 JVM 是 Java Virtual Machine 的缩写，它是一个虚构出来的计算机，一种规范。通过在实际的计算机上仿真模拟各类计算机功能实现··· 好，其实抛开这么专业的句子…

此时我们要拉取一个version的值，并把一个 needUpdate 参数修改为true，然后去唤醒 Sender 线程去拉取元数据，而这需要通过一个网络组件 NetworkClient 和Broker通信。 在此同时，主线程会进行阻塞，等待元数据的到来。而当元数据拉取完成后，…

从上一年开始鸽了好久的源码篇，终于也是给整了一下。其实一方面也是，怕自己整理不好，看的云里雾里，那也没什么意思，所以还是花了些时间准备，也是希望能够和大家一起进步吧。注意，本文篇幅非常长，建议结合PC端的右侧导航观看，效果更佳。好的！话不多说，开始吧！ 如果要一个一个类地去说明…

到现在的12月，我们一起成长，都希望每一次，可以做得比之前那个不成熟的自己更好。 现在是凌晨1点，能在后端这个页面最后看到自己，我很开心。 我深知我并不是与众不同的那一个，所以在25岁这个年纪，我能创造的不凡就是一直日积月累，仅此而已。当我逆水行舟，你在我左右，推着我走。 之后…

这两个关于NameNode的问题其实非常地经典，不仅有很多细节可询，而且也是面试的一个高频问题，所以特意独立出来一篇。元数据管理会结合源码来讲，而双缓冲虽然暂时没去翻源码，但是我们可以借由一个简单的实现去向大家好好地说明。后面也会对这段源码进行一些修改操作来让它更为高效。那话不…

因为大家读源码的方式都各有千秋，这里的阅读过程并不代表最佳实践，只是一个自身阅读过程的再现而已。所以如果有一些遗漏的重点，也可以在留言处替我指出。先前也有很多小伙伴提出了一些我的错误或者改进的地方，这里表示衷心的感谢。 2、DataNode的注册：HDFS是一个主从架构，Nam…

提醒一下，这里面需要有RPC的基础，如果对RPC没有了解的朋友，可以先跳转到以往写的两篇RPC文章中。 当然也不需要太过深入，知道点皮毛即可。因为Hadoop中有一个Hadoop RPC需要有点基础知识。 自然走的就是这个分支啦。 看到这里，就知道我们当时访问那个网站为啥是本机…

在MapReduce的时候也许很多人会有这种疑问：写了MR后，map task和reduce task是如何在多节点上并行执行的，而且又是怎么决定哪个任务执行再哪个节点上的？其实这些问题都是和这个Yarn有关。因为Yarn这个框架其实不仅仅是支持MR，还可以运行各种各样的程序。…