Spark概述
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
Hadoop与Spark框架对比
-
Hadoop MR框架从数据源获取数据，经过分析计算后，将结果输出到指定位置
核心是一次计算，不适合迭代计算
-
Spark框架支持迭代式计算，图形计算
Spark框架比MR快的原因：中间结果不落盘Spark的Shuffle也是落盘的
Spark内置模块
Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。Spark MLlib：提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。Spark GraphX：主要用于图形并行计算和图挖掘系统的组件。- 集群管理器：Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。
Spark特点
-
快：相比于Hadoop的MR，Spark基于内存的计算要快100倍以上，基于硬盘的运算要快10倍。并且实现了高效的
DAG执行引擎。计算的中间结果存在于内存中。DAG，有向无环图，在Hadoop中如果要实现DAG的计算需要在一个job结束后，手动提交第二个job，来实现DAG
-
易用：Spark支持
Java、Python、和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用 -
通用：Spark提供了统一的解决方案。Spark可以用于，交互式查询（
Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。 -
兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的
YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。
Spark运行模式
部署Spark集群大体上分为两种模式：单机模式与集群模式
下面详细列举了Spark目前支持的部署模式：
Local模式：在本地部署单个Spark服务Standalone模式：Spark自带的任务调度模式YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度（常用）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。
Spark安装地址
- 官网地址：spark.apache.org/
- 文档查看地址：spark.apache.org/docs/3.3.0/
- 下载地址：spark.apache.org/downloads.h…
Local模式
Local模式就是运行在一台计算机上的模式
安装使用
上传解压安装包，并重命名为spark-local
tar -zxvf spark-3.3.0-bin-hadoop3.2.tgz -C /opt/module/
mv spark-3.3.0-bin-hadoop3.2 spark-local
在spark-local目录下，使用官方求PI案例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
--class：表示要执行程序的主类；--master local[2]
local：没有指定线程数，则所有计算都运行在一个线程当中，没有任何并行计算
local[K]：指定使用K个Core来运行计算，比如local[2]就是运行2个Core来执行
local[*]：默认模式。自动帮你按照CPU最多核来设置线程数
查看任务运行详情
再次运行求PI任务，增加任务次数
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
1000
在任务运行还没有完成时，可登录hadoop102:4040查看程序运行结果
Standalone模式
Standalone模式是Spark自带的资源调度引擎，构建一个由Master + Worker构成的Spark集群，Spark运行在集群中
这里的Standalone是指只用Spark来搭建一个集群，不需要借助Hadoop的Yarn和Mesos等其他框架
集群角色
Master和Worker集群资源管理
Master：Spark特有资源调度系统的Leader。掌管着整个集群的资源信息
类似于Yarn框架中的ResourceManager
Worker：Spark特有资源调度系统的Slave，有多个。每个Slave掌管着所在节点的资源信息
类似于Yarn框架中的NodeManager
Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式(Standalone)下正常运行必须要有的后台常驻进程
Driver和Executor任务的管理者
Driver：
- Spark Shell中预加载的一个叫作sc的
SparkContext对象 - 把用户程序转为作业（Job）
- 跟踪
Executor的任务运行状况 - 为执行器节点调度任务
- UI展示应用运行状况
Executor：负责执行Spark的具体任务
Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序
安装使用
再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone
在spark-standalone目录下的conf目录中修改配置文件
重命名workers.template为workers，并修改，添加work节点
hadoop102
hadoop103
hadoop104
修改spark-env.sh文件，添加master节点
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
分发spark
启动spark集群
sbin/start-all.sh
运行官方求PI案例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
--master spark://hadoop102:7077指定要连接的集群的master
参数说明
| 参数 | 解释 |
|---|---|
| --class | Spark程序中包含主函数的类 |
| --master | Spark程序运行的模式 |
| --executor-memory 1G | 指定每个executor可用内存为1G |
| --total-executor-cores 2 | 指定所有executor使用的cpu核数为2个 |
| application-jar | 打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar |
| application-arguments | 传给main()方法的参数 |
配置历史服务
重命名spark-default.conf.template为spark-default.conf，增加如下配置：
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop102:8020/directory
注意：需要启动Hadoop集群，HDFS上的目录需要提前存在
修改spark-env.sh文件，添加如下配置：
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory
-Dspark.history.retainedApplications=30"
参数1含义：WEBUI访问的端口号为18080
参数2含义：指定历史服务器日志存储路径（读）
参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数
分发配置文件
启动历史服务
sbin/start-history-server.sh
查看Spark历史服务地址：hadoop102:18080
Yarn模式
安装使用
再解压一份Spark安装包，并修改解压后的文件夹名称为spark-yarn
修改conf目录下spark-env.sh，添加如下配置：
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop/
启动HDFS和YARN集群
执行一个程序
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
--master yarn，表示Yarn方式运行
配置历史服务
与standalone模式下的方法相同
配置查看历史日志
为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）
修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf，添加如下内容：
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080
运行流程
Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。
