大数据
2篇文章 · 0订阅
  • Spark的Shuffle总结分析
    Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce，而Reduce阶段负责从Map端拉取数据并进…
    Spark
  • Spark二级调度系统Stage划分算法和最佳任务调度细节剖析-Spark商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark源码解读及商业实战指导，请持续关注本套博客。 1. Spark调度系统的组件关系 一级调度：Cluster Manger (YARN模式下为ResourceManger , Standalone 模式下为 Mas…
    Spark