这是我参与「第四届青训营-大数据场」笔记创作活动的的第2天。
- Hadoop简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
- Hadoop核心组成
Hadoop主要由三个部分组成，HDFS、MapReduce和YARN。HDFS相当于你的磁盘；MapReduce，它定义了集群上数据处理的基本操作，相当于你电脑上现在安装了一个Visual Studio，可以开发自己的应用软件；YARN，这是一个集群管理和调度软件，相当于你电脑转了Windows，现在可以跑各种应用程序了。它复制让你的程序跑起来，挂了还可以帮你重启。
- Hadoop能做些什么 Hadoop擅长日志分析，facebook就用Hive来进行日志分析，淘宝搜索中的自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，可以实现类似Amazon.com的协同过滤的推荐效果。在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。可以搭建HadoopHA高可用集群！
Hadoop的生态系统很大，还要进一步学习。Hadoop生态系统的源码一般是开源的，其社区非常活跃，它涉及了分布式存储和计算的方方面面，希望接下来可以更透彻的学习。
