Spark原理与实践 | 青训营笔记

用户3618319768332
162 阅读4分钟

这是我参与「第四届青训营 」笔记创作活动的第6天

1.Spark介绍

1.1 大数据处理栈

image.png

1.2 常见大数据处理链路

image.png

1.3 Spark生态&特点

image.png

--统一引擎，支持多种分布式场景

--多语言支持（SQL/JAVA/Scala/R/Python）

--可读写丰富数据源

1.内置DataSource： Text Parquet/ORC JSON/CSV JDBC

2.自定义DataSource： 实现DataSourceV1V2API

HBase/Mongo/ElasticSearch/...

A community index of third-party packages for Apache Spark.

spark-packages.org

--丰富灵活的APIV算子

--支持K8 S/YARN/Mesos资源调度

1.4 Spark运行架构&部署方式

image.png

Spark Local Mode

本地测试单进程多线程模式

spark-sql --master local[*]..

Spark Standalone Mode

需要启动Spark的Standalone集群的Master/Worker

spark-sql --master spark://(master_ip):(masteri​p):{port)..

on YARN/K8S

依赖外部资源调度器(YARN/K8S)

spark-sgl --master yarn

spark-sql --master k8s://https://:...

2. SparkCore原理解析

image.png

2.1 RDD

弹性分布式数据集，是一个容错的、并行的数据结构

RDD五大要素

image.png

1）A list of partitions 一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。

2）A function for computing each split 一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。compute函数会对迭代器进行复合，不需要保存每次计算的结果。

3）A list of dependencies on other RDDs RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。

4）Optionally,a Partitioner for key-value RDDs 一个Partitioner，即RDD的分片函数。当前Spark中实现了两种类型的分片函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。只有对于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量，也决定了parent RDD Shuffle输出时的分片数量。

5） Optionally,a list of preferred locations to compute each split 一个列表，存储存取每个Partition的优先位置（preferred location）。对于一个HDFS文件来说，这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。 ———————————————— 版权声明：本文为CSDN博主「Z_Data」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：blog.csdn.net/Z_Date/arti…

2.2RDD算子

1）Transform算子：生成一个新的RDD

2）Action算子：触发job提交

2.3 RDD依赖

image.png

RDD依赖，描述父子RDD之间的依赖关系(lineage】 窄依赖：父RDD的每个partition:至多对应一个子RDD分区。 √NarrowDependency

def getParents(partitionld:Int):Seq[Int]

√OneToOneDependency

override def getParents(partitionld:Int):List[Int]List(partitionld)

√RangeDependency

oveidfnt:n):Listn if (partitionld >outStart &partitionld outStart length) List(partitionld-outStart inStart)

√PruneDependency

宽依赖（会产生shuffle）：父RDD的每个partition都可能对应多个子RDD分区。

√ShuffleDependency

2.5 RDD执行流程

Job:RDD action算子触发

Stage:依据宽依赖划分

Task:Stage内执行单个partition任务

image.png

2.6 调度器

image.png

2.7 内存管理

image.png

Executor内存主要有两类：Storage、Execution

UnifiedMemoryManager统一管理Storage/Execution内存

Storage和Execution内存使用是动态调整，可以相互借用

当Storage空闲，Execution可以借用Storage的内存使用

可以减少spil等操作，Execution使用的内存不能被Storage驱逐

当Execution空闲，Storage可以借用Execution的内存使用

当Execution需要内存时，可以驱逐被Storage借用的内存，直到

spark.memory..storageFraction边界

2.8Shuffle

image.png

3.SparkSQL原理解析

SparkSQL

image.png

  • SQL Parse： 将SparkSQL字符串或DataFrame解析为一个抽象语法树/AST，即Unresolved Logical Plan
  • Analysis：遍历整个AST，并对AST上的每个节点进行数据类型的绑定以及函数绑定，然后根据元数据信息Catalog对数据表中的字段进行解析。 利用Catalog信息将Unresolved Logical Plan解析成Analyzed Logical plan
  • Logical Optimization：该模块是Catalyst的核心，主要分为RBO和CBO两种优化策略，其中RBO是基于规则优化，CBO是基于代价优化。 利用一些规则将Analyzed Logical plan解析成Optimized Logic plan
  • Physical Planning: Logical plan是不能被spark执行的，这个过程是把Logic plan转换为多个Physical plans
  • CostModel: 主要根据过去的性能统计数据，选择最佳的物理执行计划(Selected Physical Plan)。
  • Code Generation: sql逻辑生成Java字节码
avatar
文章
阅读
粉丝