落叶飞逝的恋

一、什么是Flume Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移动大量的日志数据。通俗来讲：Flume是一个很靠谱、很方便、很强大的日志采集工具。

一、Yarn信息 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以Yarn可以实现Hadoop集群的资源共

一、小文件处理 Hadoop的HDFS和MapReduce都是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。针对HDFS而言，每一个小文件在namenode中都会占用15

我报名参加金石计划1期挑战——瓜分10万奖池，这是我的第n篇文章，点击查看活动详情 一、Shuffle过程详解 Shuffle是一个网络拷贝的过程，是指通过网络把数据从map端拷贝到reduce端的过

一、MapReduce任务日志查看 想要查看MapReduce程序执行过程中产生的日志信息怎么办？ 1.1、开启Yarn日志聚合功能 需要开启YARN的日志聚合功能，把散落在NodeManager节点

一、MapReduce介绍 1.1、MapReduce计算思想 举个例子，要统计扑克牌的黑桃个数，最直接的办法是一张一张检查然后进行统计。利用MapReduce的计算方法，可以优化为： 把牌分配给在座

一、SecondaryNameNode SecondaryNameNode主要负责定期的把edits文件中的内容合并到fsimage中。这个合并操作称为checkpoint，在合并的时候会对edits

一、NameNode介绍 1.1、HDFS支持主从结构 主节点称为：NameNode，因为主节点上运行的有NameNode进程。NameNode支持多个，目前配置1个 从节点称为：DataNode，因

一、HDFS 1.1、HDFS分布式文件系统的设计思想 用户请求查看数据时候请求主节点，主节点上面会维护所有数据的存储信息，主节点会把对应数据所在的节点信息返回给用户，然后用户根据数据所在节点信息去读