这是我参与「第四届青训营 」笔记创作活动的第6天
一.简介
Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最为广泛使用的分布式计算框架。
二.特点
Apache Spark 具有以下特点：
- 使用先进的 DAG 调度程序，查询优化器和物理执行引擎，以实现性能上的保证；
- 多语言支持，目前支持的有 Java，Scala，Python 和 R；
- 提供了 80 多个高级 API，可以轻松地构建应用程序；
- 支持批处理，流处理和复杂的业务分析；
- 丰富的类库支持：包括 SQL，MLlib，GraphX 和 Spark Streaming 等库，并且可以将它们无缝地进行组合；
- 丰富的部署模式：支持本地模式和自带的集群模式，也支持在 Hadoop，Mesos，Kubernetes 上运行；
- 多数据源支持：支持访问 HDFS，Alluxio，Cassandra，HBase，Hive 以及数百个其他数据源中的数据。
三.集群架构
- 用户程序创建 SparkContext 后，它会连接到集群资源管理器，集群资源管理器会为用户程序分配计算资源，并启动 Executor；
- Driver 将计算程序划分为不同的执行阶段和多个 Task，之后将 Task 发送给 Executor；
- Executor 负责执行 Task，并将执行状态汇报给 Driver，同时也会将当前节点资源的使用情况汇报给集群资源管理器。
四.核心组件
Spark 基于 Spark Core 扩展了四个核心组件，分别用于满足不同领域的计算需求。
- Spark SQLSpark SQL--结构化数据的处理
- Spark StreamingSpark Streaming--快速构建可扩展，高吞吐量，高容错的流处理程序。
- MLlib--Spark 的机器学习库。
- GraphX--Spark 中用于图形计算和图形并行计算的新组件。
