stonezhu

在 Hadoop1 中 MapReduce 框架即负责集群的资源调度，还负责 MapReduce 程序的运行。由于这种架构资源调度和计算高度耦合，导致了一个 Hadoop 集群中只能跑 MapReduce 计算任务，无法跑其它的计算任务，维护成本很高。 在后面的 Hadoop2…

在 Hadoop1 中，MapReduce 计算框架即负责集群资源的调度，还负责 MapReduce 程序的运行。 1，大数据应用进程。这是用户启动的 MapReduce 程序进程，主要是指定 Map 和 Reduce 类、输入输出文件路径等，并提交作业给 Hadoop 集群的…

在 Spark 的源码中，负责 shuffle 过程的执行、计算、处理的组件主要是 ShuffleManager。 在 Spark 1.2 以前，默认的 shuffle 计算引擎是 HashShuffleManager。该 ShuffleMananger 有一个非常严重的弊端，…

数据倾斜是大数据计算中一个最棘手的问题，出现数据倾斜后，Spark 作业的性能会比期望值差很多。数据倾斜的调优，就是利用各种技术方案解决不同类型的数据倾斜问题，保证 Spark 作业的性能。 一个 Spark 作业，会根据其内部的 Action 操作划分成多个 job，每个 j…

记录一些常见的 Spark 作业里的 troubleshooting。 在 shuffle 过程中，reduce 端在拉取 map 端的数据时，每个 task 会有自己的 缓冲区用来存放每次拉取的数据，这个缓冲区默认是 48M。 如果 map 端产生的数据量非常大，并且 map…

Spark 支持 Yarn 集群的部署模式，在 Spark On Yarn 模式下，每个 Spark 的 Executor 作为一个 Yarn container 在运行，同事支持多个任务在同一个 container 中运行。 Yarn 的 Application Master…

前面三篇文章的三种优化方式调整到位之后会让整个 Spark 作业执行速度有非常明显的提升。 除此之外我们还有很多其它性能优化的手段，但在和前面三种方式比较，正常情况下提升没有那么大。 在 task 执行算子函数运算的时候，如果要用到外部变量，这种时候需要使用广播变量。因为，如果…

1，几个功能明明可以在一个算子操作中完成，为了代码清晰，把这个算子拆分成多个算子进行操作。这种操作往往会增加很多的性能开销。 这样就造成了重复计算。 2，在要复用 RDD 的时候一定要对复用的那个 RDD 做持久化操作。

并行度：Spark 作业中，会根据 action 操作划分成多个 job，每个 job 中会根据 shuffle 划分成多个 stage，每个 stage 会分配多个 task 去执行，各个 stage 划分的 task 数量就代表了 Spark 作业在该 stage 的并行度…