合心关经理

HDFS的小总结，包括存储策略，架构演进，元数据管理，双缓冲机制···等内容，之前也有两篇关于HDFS的内容，总得来说算是介绍地比较详细了

注意：upperBound和numPartitions两个参数是有关联的，upperBound / numPartitions = 每个分区需要写入多少条数据，所以最好就是搞清楚数据总量是多少，因为笔者就遇到这么一个问题，本来总量是4000W条数据，笔者设置upperBound…

上一篇我们简单过了一遍RPC是什么，三个过程，为什么我们需要它，它的特性和适用场景，RPC的流程及协议定义还有它的框架的一些小知识。理论经常会看的人昏昏欲睡，不知所云。如果能够结合一些代码来说明的话，那就方便理解很多了 1. RPC的流程 2. 从使用者的角度开始分析 1. 准…

上一篇中我们有简单提到master选举与代码实现，官网的一些模块划分和它们对于以往文章主题的帮助。毕竟不能只吃官网给出来的东西，所以还是要靠自己多找资料吧。 关于master选举的代码中，重点其实也就是最后通过一个线程去执行这个master的选举，我们在master的选举中要不…

上一篇的内容是补充了ZAB协议和分布式队列的一种实现，ZAB我们谈到了它的一个协议流程和在和follower失联时的崩溃恢复，还有如何进行数据同步和丢弃事务。分布式队列的具体代码实现中的结构，还有类中定义的每个方法基本也都有提及了，相信大家也一定能够自己动手完成代码的补充并成功…

上一篇中我们提到了zookeeper伪集群的简单搭建，为了提供可靠的zookeeper服务，我们需要集群的支持。 集群搭建中该注意的点有两个，一个是zoo.cfg文件的参数配置，我们往其加入了dataLogDir路径来存放事务日志，还有要给三个集群的zoo.cfg文件都添加上集…

上一篇 我们提到了基于zookeeper下的分布式锁的简单实现，我们分别通过节点不可重名+watch机制（不推荐），取号 + 最小号取lock + watch的原理来各实现了一把分布式锁，第二种类似于去银行办理业务的先领号，等叫号的一种形式。 我们现在已经知道，zookeepe…