spark
4篇文章 · 0订阅
  • Spark Shuffle
    shuffle不是spark的专属产物，MR里也有。这是大数据分布式计算的逻辑，分布式计算就得这么搞。只不过spark在源码里做了很多能让分布式计算变快的操作！ 这是我们作为程序员使用spark的代码。在程序跑起来的时候，首先创建了SparkContext，这里面细节就多了去了…
    Spark
  • Spark Streaming
    一、SparkStreaming概述1.SparkStreaming设计动机很多重要的应用要处理大量在线流式数据，并返回近实时的结果社交网络趋势跟踪电商网站指标统计广告系统具备分布式流式处理框架的基本
    Spark
  • 细解spark的shuffle
    DAGScheduler 以 Shuffle 为边界，将计算图DAG切分为多个Stages.显然shuffle起着关键的作用。 什么是shuffle Shuffle 的本意是扑克的“洗牌”，在分布式计
    后端 Spark
  • Spark的Shuffle总结分析
    Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。 在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce，而Reduce阶段负责从Map端拉取数据并进…
    Spark