Spark知识学习目录

前言

该文章为Spark知识文章目录，便于查看，持续更新中。。。。。

0、Spark术语

• Spark术语01-application、job、Stage、task的区别

1、Spark基础

• Spark基础01-RDD和宽窄依赖
• Spark基础02-RDD数据集操作
• Spark基础03-关联外部数据源操作
• Spark基础04-RDD重分区操作repartition与coalesce
• Spark基础05-map和mapValue
• Spark基础06-Spark client和cluster提交流程
• Spark基础07-浅析WorkCount源码及RDD核心方法

2、Spark源码-资源层启动

• Spark源码解析01-Master启动流程
• Spark源码解析02-Worker启动流程以及与Master心跳通信

3、spark源码-计算层

• Spark源码解析03-Submit提交流程及Driver启动流程
• Spark源码解析04-Submit提交流程及SparkContext准备流程
• Spark源码解析05-Submit提交流程及Master资源分配和Executor启动