二二孚日

Kafka简介 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于Zookeeper协调的分布式日志系统。 主要应用场景是：日志收集系统和消息系统。 分布式消息

Flume是什么 Flume是流式日志采集工具，Flume提供对数据进行简单处理并且写到各种数据接受方的能力，Flume提供从本地文件（spooling directory source）、实时日志（

Flink简介 2010年，Flink由柏林工业大学、柏林洪堡大学和哈索·普拉特纳研究所共同研究；2014年4月，Flink被捐赠给Apache软件基金会，成为Apache软件基金会孵化器项目；201

Spark简介 2009年诞生于美国加州大学伯克利分校AMP实验室。2010年开源，2013年成长为Apache软件基金会旗下大数据领域最活跃的开源项目之一，现在已经成为Apache软件基金会旗下的顶

MapReduce概述 MapReduce基于Google发布的MapReduce论文设计开发，基于分而治之的思想，用于大规模数据集（大于1TB）的并行计算和离线计算，具有如下特点： 高度抽象的编程思

Hive简介 Hive是基于Hadoop的数据仓库软件，可以查询和管理PB级别的分布式数据。 Hive特性： 灵活方便的ETL（extract/transform/load）。 支持Tez、Spark

HBase简介 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别。 利用Had

HDFS概述 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是一种旨在在商品硬件上运行的分布式文件系统。 HDFS最初是作为ApacheNutch

1.大数据应用的主要计算模式 批处理计算：针对大规模数据的批量处理。主要技术有MapReduce、Spark等。 流计算：针对流数据的实时计算处理。主要技术有Spark、Storm、Flink、Flu