这是我参与「第四届青训营 」笔记创作活动的第3天

Hadoop发行版本、架构变迁

Hadoop发行版本

开源社区版

Apache开源社区发行

开源版也是官方发行版本

优点：更新迭代快

缺点：兼容稳定性不周

Apache开源社区版本：hadoop.apache.org/

商业发行版

商业公司发行

基于Apache开源协议

某些服务需要收费

优点：稳定兼容好

缺点：收费 版本更新慢

商业发现版本：

Cloudera：www.cloudera.com/products/op…

（1）2008年成立的Cloudera是最早将Hadoop商用的公司，为合作伙伴提供Hadoop的商用解决方案，主要是包括支持、咨询服务、培训。

（2）2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH，Cloudera Manager，Cloudera Support

（3）CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强。

（4）Cloudera Manager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个Hadoop集群，并对集群的节点及服务进行实时监控。Cloudera Support即是对Hadoop的技术支持。

（5）Cloudera的标价为每年每个节点4000美元。Cloudera开发并贡献了可实时处理大数据的Impala项目。

Hortonworks ：www.cloudera.com/products/hd…

你可能会奇怪为什么网址是cloudera，请你接着往下读！

（1）2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。

（2）公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师，上述工程师均在2005年开始协助雅虎开发Hadoop，贡献了Hadoop80%的代码。

（3）雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任Hortonworks的首席执行官。

（4）Hortonworks的主打产品是Hortonworks Data Platform（HDP），也同样是100%开源的产品，HDP除常见的项目外还包括了Ambari，一款开源的安装和管理系统。

（5）HCatalog，一个元数据管理系统，HCatalog现已集成到Facebook开源的Hive中。Hortonworks的Stinger开创性的极大的优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。

（6）Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache Hadoop能够在包括Window Server和Windows Azure在内的Microsoft Windows平台上本地运行。定价以集群为基础，每10个节点每年为12500美元。

（7）2018年国庆期间，两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。

Hadoop架构变迁（1.0-2.0变迁）

Hadoop 1.0

HDFS（分布式文件存储）

MapReduce（资源管理和分布式数据处理）

Hadoop 2.0

HDFS（分布式文件存储）

MapReduce（分布式数据处理）

YARN（集群资源管理、任务调度）

Hadoop架构变迁（3.0新版本） Hadoop 3.0架构组件和Hadoop 2.0类似,3.0着重于性能优化。

通用方面

精简内核、类路径隔离、shell脚本重构

Hadoop HDFS

EC纠删码、多NameNode支持

Hadoop MapReduce

任务本地化优化、内存参数自动推断

Hadoop YARN

Timeline Service V2、队列配置