介绍
-
Hadoop 1.x：
- 发布于 2011 年。
- 使用 MapReduce 处理模型，但不支持非 MapReduce 工具。
- 仅支持单租户。
- 有单点故障（SPOF），因为只有一个 Namenode，如果它失败，需要手动干预。
- 限制为每个集群最多 4000 个节点。
-
Hadoop 2.x：
- 发布于 2012 年。
- 引入了 YARN（Yet Another Resource Negotiator）作为资源管理器，允许多租户使用相同的集群。
- 有多个主节点，包括活动的 Namenode 和备用的 Namenode，解决了单点故障问题。
- 可扩展性更好，支持多达 10000 个节点的集群。
-
Hadoop 3.x：
- 发布于 2017 年。
- YARN 资源模型被泛化，支持用户定义的资源类型，如 GPU、软件许可证或本地附加存储。
- 支持多租户。
- 不需要手动干预来恢复 Namenode。
- 最低支持 Java 8。
- 支持各种文件系统，包括 Microsoft Azure Data Lake 文件系统。
