程sq

通过前面对两种shuffle的理解，我们总结如下： 从shuffle的原理来看，两者其实差别不大。都是将Mapper（spark里是shuffleMapTask）的输出按照reduce端的并行度进行分

一、MapReduce计算模型 maprecude主要三个阶段组成：Map，shuffle，Reduce. 如图所示： Map是映射，负责数据的过滤分法，将原始数据转为键值对；redcue是合并，将具

日志数据是一种半结构化的数据，它是由特定的代码生成的。其实可以理解为“print”语句。在我们进行print的时候，我们一般会包含常量和变量。日志的模板解析就是这个过程的倒推方式。由日志推出你的“pr

Flume采集 针对做hdfs日志的异常检测，首先获取日志或者怎么拿到自己想要的数据关键。 由于我们只针对hdfs日志的数据块进行异常检测，也就是我们只针对在block数据块上的操作进行异常检测，所以

DAGScheduler 以 Shuffle 为边界，将计算图DAG切分为多个Stages.显然shuffle起着关键的作用。 什么是shuffle Shuffle 的本意是扑克的“洗牌”，在分布式计

分布式计算的精髓，在于如何把抽象的计算图，转化为实实在在的分布式计算任务，然后以并行计算的方式交付执行。 那么“对于给定的用户代码和相应的计算流图，Driver 是怎么把计算图拆解为分布式任务，又是按

在理解OOM问题得先理解spark 的内存。 Spark 内存区域划分 spark的Executor的Container内存有两大部分组成：堆外内存和Executor内存。 堆外内存 spark.ex

在什么是RDD中，通过将土豆的加工流程和wordcount进行了类比，如图所示： 我们来说一下二者的区别： 首先，Word Count 计算流图是一种抽象的流程图，而土豆工坊的流水线是可操作、可运行而

什么是RDD RDD：弹性分布式数据集 (Resilient Distributed DataSet)，Spark 中最基本的数据抽象。 简单来说RDD 是一种抽象，是 Spark 对于分布式数据集的