ROCK_杰哥

首先思考一个问题：hadoop分布式集群的主要工作在什么地方？HDFS分布式文件存储的集群，分布式文件存储要保持文件的一致性，这个是一个重点，那么怎么搭建才能保持一致性呢，这个问题前辈们已经给出了解决

这个也是一个考验对zookeeper理解的一个问题，完全没有必要背概念，我概念也记不住，zookeeper就是一个协调者，尤其是在分布式中。

这里写的很清楚，就是从配置文件中获取mapreduce.framework.name，配置文件中配置了这个是yarn,这个cluster就是yarn的RPC的客户端，通过cluster远程调用yarn的server的相关方法。hadoop中大量使用了RPC这也是分布式中必须要使…

首先开门见山，说明一下MR的l两种种运行模式 1，在本地运行模式 ①在windows中，intellij idea或者eclipse中直接运行，文件存储可以是本地也可以是HDFS ②在linux中，运

这个是我写的一个WordCount，要在windows（本地）运行需要修改很多东西，我已经修改了，不懂得朋友可以评论，我会收到通知，及时给你解答，这里就不在赘述，那么先看看在linux环境中，用hadoop命令运行的这种方式，这种方式不利于调试，入门嘛，先不管调试了，我们的目的…

在这里说声sorry，由于最近事情很杂，所以更新的有些慢，请读者们多担待下载数据中还有一句：FSDataInputStreaminput=fs.open(newPath("/jdk-8u161-lin

1，下载Elasticsearchhttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz2，上传

今天分享的的是NameNode中edit日志文件怎么和fsimage合并的，又是什么时候进行合并的，谁负责合并的，好的，带着这几个问题来思考1，先来一张图说明合并过程在这个过程中很好的解释了edit日

当edits log文件满了【64M】或者是间隔3600秒，也就是1个小时，（这两个参数都是可以配置的）,就会进行合并，就是将edits log中的数据，追加到fsimage文件之后，【这里其实是产生了新的文件，暂时可以理解为追加】，并把edits log中的数据清除。 这样即…