Hadoop特性优点 | 青训营笔记

151 阅读2分钟

这是我参与「第四届青训营 」笔记创作活动的第3天

Hadoop特性优点

Hadoop优点

四个优点首字母 SEER

1、Scalability 扩容能力 Hadoop是在可用的计算机集群间分配数据并完成计算任务的,这些集群可方便灵活的方式扩展到数以千计的节点。

2、Economical 成本低 Hadoop集群允许通过部署普通廉价的机器组成集群来处理大数据,以至于成本很低。看重的是集群整体能力。

3、Efficiency 效率高 通过并发数据,Hadoop可以在节点之间动态并行的移动数据,使得速度非常快。

4、Reliability 可靠性 能自动维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。

Hadoop国外应用

Yahoo

支持广告系统

用户行为分析

支持Web搜索

反垃圾邮件系统

image.png

Facebook

存储处理数据挖掘和日志统计

构建基于Hadoop数据仓库平台(Apache Hive来自FB)

image.png

IBM

蓝云基础设施构建

商业化Hadoop发行、解决方案支持

Hadoop国内应用

百度

用户搜索表征的需求数据、阿拉丁爬虫数据存储

数据分析和挖掘 竞价排名

阿里巴巴

为电子商务网络平台提供底层的基础计算和存储服务

交易数据、信用数据

image.png

腾讯

用户关系数据

基于Hadoop、Hive构建TDW(腾讯分布式数据仓库)

image.png

华为

对Hadoop的HA方案,以及HBase领域有深入研究

总结

• Hadoop成功的魅力--通用性

精准区分做什么和怎么做

做什么属于业务问题 怎么做属于技术问题。

用户负责业务 Hadoop负责技术

• Hadoop成功的魅力--简单