这是我参与「第四届青训营 」笔记创作活动的第2天
Hadoop介绍
狭义上的Hadoop
狭义上Hadoop指的是Apache软件基金会的一款开源软件。
用java语言实现，开源
允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理
Hadoop核心组件
Hadoop HDFS（分布式文件存储系统）：解决海量数据存储
Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度
Hadoop MapReduce（分布式计算框架）：解决海量数据计算
广义上的Hadoop
广义上Hadoop指的是围绕Hadoop打造的大数据生态圈。
Hadoop发展简史
Hadoop之父：Doug Cutting。
Hadoop起源于Apache Lucene子项目：Nutch。
Nutch的设计目标是构建一个大型的全网搜索引擎。
遇到瓶颈：如何解决数十亿网页的存储和索引问题。
Google三篇论文
《The Google file system》：谷歌分布式文件系统GFS
《MapReduce: Simplifified Data Processing on Large Clusters》：谷歌分布式计算框架MapReduce
《Bigtable: A Distributed Storage System for Structured Data》：谷歌结构化数据存储系统
Hadoop现状
HDFS作为分布式文件存储系统，处在生态圈的底层与核心地位；
YARN作为分布式通用的集群资源管理系统和任务调度平台，支撑各种计算引擎运行，保证了Hadoop地位；
MapReduce作为大数据生态圈第一代分布式计算引擎，由于自身设计的模型所产生的弊端，导致企业一线几乎不再直接使用MapReduce进行编程处理，但是很多软件的底层依然在使用MapReduce引擎来处理数据。
总结
• 狭义上Hadoop指软件，广义上Hadoop指生态圈
• Hadoop之父Doug Cutting
• Hadoop起源于Nutch项目
• 受Google3篇论文启发
• 2008年开源给Apache软件基金会
