这是我参与「第四届青训营」笔记创作活动的第6天。
Spark介绍
处理技术栈
数据->存储->计算->应用
大数据处理链路
Spark生态和特点
Spark运行架构和部署方式
Spark应用在集群上运行时，包括了多个独立的进程，这些进程之间通过驱动程序（Driver Program）中的SparkContext对象进行协调，SparkContext对象能够与多种集群资源管理器（Cluster Manager）通信，一旦与集群资源管理器连接，Spark会为该应用在各个集群节点上申请执行器（Executor），用于执行计算任务和存储数据。Spark将应用程序代码发送给所申请到的执行器，SparkContext对象将分割出的任务（Task）发送给各个执行器去运行。
Sparkcore原理解析
RDD
RDD(Resilient Distributed Datasets)，弹性分布式数据集，是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。
RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。
描述RDD的五要素
两类算子：Transform算子用来生成新的RDD，Action算子用来触发job提交。
RDD执行过程
划分Stage的整体思路：从后往前推，遇到宽依赖就断开，划分为一个Stage。遇到窄依赖，就将这个RDD加入该Stage中，DAG最后一个阶段会为每个结果的Partition生成一个ResultTask。每个Stage里面的Task数量由最后一个RDD的Partition数量决定，其余的阶段会生成ShuffleMapTask。
当RDD对象创建后，SparkContext会根据RDD对象构建DAG有向无环图，然后将Task提交给DAGScheduler。DAGScheduler根据ShuffleDependency将DAG划分为不同的Stage，为每个Stage生成TaskSet任务集合，并以TaskSet为单位提交给TaskScheduler。TaskScheduler根据调度算法(FIFO/FAIR)对多个TaskSet进行调度，并通过集群中的资源管理器(Standalone模式下是Master，Yarn模式下是ResourceManager)把Task调度(locality)到集群中Worker的Executor，Executor由SchedulerBackend提供。
内存管理
Spark采用统一内存管理机制。重点在于动态占用机制。
设定基本的存储内存(Storage)和执行内存(Execution)区域，该设定确定了双方各自拥有的空间的范围，UnifiedMemoryManager统一管理Storage/Execution内存。双方的空间都不足时，则存储到硬盘；若己方空间不足而对方空余时，可借用对方的空间。当Storage空闲，Execution可以借用Storage的内存使用，可以减少spill等操作， Execution内存不能被Storage驱逐。Execution内存的空间被Storage内存占用后，可让对方将占用的部分转存到硬盘，然后"归还"借用的空间。
Sparksql原理解析
SparkSQL执行过程
- SQL Parse： 将SparkSQL字符串或DataFrame解析为一个抽象语法树/AST，即Unresolved Logical Plan\
- Analysis：遍历整个AST，并对AST上的每个节点进行数据类型的绑定以及函数绑定，然后根据元数据信息Catalog对数据表中的字段进行解析。 利用Catalog信息将Unresolved Logical Plan解析成- - Analyzed Logical plan\
- Logical Optimization：该模块是Catalyst的核心，主要分为RBO和CBO两种优化策略，其中RBO是基于规则优化，CBO是基于代价优化。 利用一些规则将Analyzed Logical plan解析成Optimized Logic plan\
- Physical Planning: Logical plan是不能被spark执行的，这个过程是把Logic plan转换为多个Physical plans\
- CostModel： 主要根据过去的性能统计数据，选择最佳的物理执行计划(Selected Physical Plan)。\
- Code Generation： sql逻辑生成Java字节码
影响SparkSQL性能两大技术
- Optimizer： 执行计划的优化，目标是找出最优的执行计划
- Runtime： 运行时优化，目标是在既定的执行计划下尽可能快的执行完毕。
AQE
AQE对于整体的Spark SQL的执行过程做了相应的调整和优化，它最大的亮点是可以根据已经完成的计划结点真实且精确的执行统计结果来不停的反馈并重新优化剩下的执行计划。
AQE框架三种优化场景：
- 动态合并shuffle分区（Dynamically coalescing shuffle partitions）
- 动态调整Join策略（Dynamically switching join strategies）
- 动态优化数据倾斜Join（Dynamically optimizing skew joins）
RuntimeFilter
实现在Catalyst中。动态获取Filter内容做相关优化，当我们将一张大表和一张小表等值连接时，我们可以从小表侧收集一些统计信息，并在执行join前将其用于大表的扫描，进行分区修剪或数据过滤。可以大大提高性能
Runtime优化分两类：
- 全局优化：从提升全局资源利用率、消除数据倾斜、降低IO等角度做优化。包括AQE。
- 局部优化：提高某个task的执行效率，主要从提高CPU与内存利用率的角度进行优化。依赖Codegen技术。
Codegen
从提高cpu的利用率的角度来进行runtime优化。
- Expression级别：表达式常规递归求值语法树。
- WholeStage级别：传统的火山模型
