spark

线上问题 由于线上Spark集群均为过保机器，经常会出现某台机器出故障的情况，导致任务经常会进行失败重试，下面从源码角度解析失败重试的流程和重试逻辑。 流程 参考 https://juejin.cn/

从DAG图介绍spark shuffle的入口，介绍了shuffle的类型在什么情况下使用哪种类型的shuffle，在shuffle write的过程中如果进行迭代计算，怎么触发shuffleread

SortShuffleWriter shuffle write流程： 创建ExternalSorter,如果不需要mapSideCombine，把聚合函数和ordering设置为none Extern

SortShuffleManager.getReader() 获取map任务状态 MapOutputTrackerWorker.getMapSizesByExecutorId() getStatus

spark根据宽窄依赖划分stage,那么如何区分宽窄依赖呢？ 概念 很多资料上讲宽窄依赖：窄依赖指父RDD的每个分区只被子RDD的一个分区所使用，宽依赖指父RDD的每个分区都可能被子RDD的多个分区