spark

MR的提交流程 （1）作业提交 1.Client调用job.waitForCompletion方法，向整个集群提交 MapReduce 作业。 2.Client 向 RM 申请一个作业 id。 3.R

Spark SQL 其中一类非常典型的场景是与 Hive 做集成、构建分布式数据仓库。数据仓库指的是一类带有主题、聚合层次较高的数据集合，它的承载形式，往往是一系列 Schema 经过精心设计的数据表

spark中的join 关联形式 按照关联形式划分，数据关联分为 内关联、外关联、左关联、右关联等等。对于参与的关联表来说，其关联形式决定的了数据的存在结果，所以选择关联形式，是由业务逻辑决定的。 实

RDD和DataFrame SparkContext 通过 textFile API 把源数据转换为 RDD SparkSession，你可以把它理解为是 SparkContext 的进阶版，是 Sp

RDD的依赖关系 在Spark中，RDD分区的数据不支持修改，是只读的。如果想要更新RDD分区中数据，那么只能对原有RDD进行转化操作，也就是在原有RDD基础上创建一个新的RDD。 那么，在整个任务的

通过前面对两种shuffle的理解，我们总结如下： 从shuffle的原理来看，两者其实差别不大。都是将Mapper（spark里是shuffleMapTask）的输出按照reduce端的并行度进行分

一、MapReduce计算模型 maprecude主要三个阶段组成：Map，shuffle，Reduce. 如图所示： Map是映射，负责数据的过滤分法，将原始数据转为键值对；redcue是合并，将具

DAGScheduler 以 Shuffle 为边界，将计算图DAG切分为多个Stages.显然shuffle起着关键的作用。 什么是shuffle Shuffle 的本意是扑克的“洗牌”，在分布式计

分布式计算的精髓，在于如何把抽象的计算图，转化为实实在在的分布式计算任务，然后以并行计算的方式交付执行。 那么“对于给定的用户代码和相应的计算流图，Driver 是怎么把计算图拆解为分布式任务，又是按

在理解OOM问题得先理解spark 的内存。 Spark 内存区域划分 spark的Executor的Container内存有两大部分组成：堆外内存和Executor内存。 堆外内存 spark.ex

在什么是RDD中，通过将土豆的加工流程和wordcount进行了类比，如图所示： 我们来说一下二者的区别： 首先，Word Count 计算流图是一种抽象的流程图，而土豆工坊的流水线是可操作、可运行而

什么是RDD RDD：弹性分布式数据集 (Resilient Distributed DataSet)，Spark 中最基本的数据抽象。 简单来说RDD 是一种抽象，是 Spark 对于分布式数据集的