大数据
2篇文章 · 0订阅
  • Spark 源码分析（一）：Spark Submit 任务提交
    研究 Spark 内部是怎么运行的，怎么将 Spark 的任务从开始运行到结束的，先从 spark-submit 这个 shell 脚本提交用户程序开始。下面的分析都是基于 spark 2.1.1 版本。 脚本最后调用 exec 执行 "${SPARK_HOME}"/bin/s…
    Spark
  • ShuffleManager 原理
    在 Spark 的源码中，负责 shuffle 过程的执行、计算、处理的组件主要是 ShuffleManager。 在 Spark 1.2 以前，默认的 shuffle 计算引擎是 HashShuffleManager。该 ShuffleMananger 有一个非常严重的弊端，…
    Spark