这是我参与「第四届青训营 」笔记创作活动的第3天
Hadoop特性优点
Hadoop优点
四个优点首字母 SEER
1、Scalability 扩容能力 Hadoop是在可用的计算机集群间分配数据并完成计算任务的,这些集群可方便灵活的方式扩展到数以千计的节点。
2、Economical 成本低 Hadoop集群允许通过部署普通廉价的机器组成集群来处理大数据,以至于成本很低。看重的是集群整体能力。
3、Efficiency 效率高 通过并发数据,Hadoop可以在节点之间动态并行的移动数据,使得速度非常快。
4、Reliability 可靠性 能自动维护数据的多份复制,并且在任务失败后能自动地重新部署(redeploy)计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖。
Hadoop国外应用
•Yahoo
支持广告系统
用户行为分析
支持Web搜索
反垃圾邮件系统
存储处理数据挖掘和日志统计
构建基于Hadoop数据仓库平台(Apache Hive来自FB)
•IBM
蓝云基础设施构建
商业化Hadoop发行、解决方案支持
Hadoop国内应用
•百度
用户搜索表征的需求数据、阿拉丁爬虫数据存储
数据分析和挖掘 竞价排名
•阿里巴巴
为电子商务网络平台提供底层的基础计算和存储服务
交易数据、信用数据
•腾讯
用户关系数据
基于Hadoop、Hive构建TDW(腾讯分布式数据仓库)
•华为
对Hadoop的HA方案,以及HBase领域有深入研究
总结
• Hadoop成功的魅力--通用性
精准区分做什么和怎么做
做什么属于业务问题 怎么做属于技术问题。
用户负责业务 Hadoop负责技术
• Hadoop成功的魅力--简单