霍云

以val socket8888 = ssc.socketTextStream("localhost", 8888)为例。 ssc.socketTextStream里面会new SocketInputDStream(...)，即会构造出一个接受socket数据流，InputDSt…

简单带一下一个spark app的执行。 我们的代码通过action算子进行启动，action算子里调用了SparkContext的runJob方法。即action算子->SparkContext.runJob 特别细的步骤掠过。根据我们调起action算子的rdd，创建fin…

今天被问到了ThreadLocal这块涉及到的面试题也挺多的，关于ThreadLocal是怎么一回事，什么场景该使用，百度出来的帖子太多了。我记录一下我能想到的面试点 ThreadLocal解决了什么问题。 你还了解哪些地方使用了弱引用。

MR的编程模型，在Mapper中定义了每条数据的处理逻辑。MapTask把数据写到磁盘，然后reduceTask进行拉取，在Reducer中定义了每组数据的处理逻辑，很容易理解。在Spark中全是RDD，在一个stage中，数据是通过迭代器嵌套，一条一条飞过去的，在这飞的过程中…

Spark的shuffle系统很复杂，同时我认为这也是比MR快的最重要原因。MR是早期产物，Spark必然取其精华，弃其糟粕 源码中说这种方式是序列化的形式，非常高效。看看走他的条件： 把一条数据record也就是kv写到字节数组中。这个字节数组默认1MB。 把字节数组的数据c…

shuffle不是spark的专属产物，MR里也有。这是大数据分布式计算的逻辑，分布式计算就得这么搞。只不过spark在源码里做了很多能让分布式计算变快的操作！ 这是我们作为程序员使用spark的代码。在程序跑起来的时候，首先创建了SparkContext，这里面细节就多了去了…

Spark里有很多RDD，且RDD之间有依赖关系。就像是一个单链表。 DAGScheduler这个类的源码注释非常值得一看。 我理解的计算分为不相关计算(filter,map,flatmap...)和相关计算(combineByKey,reduceByKey,groupByKe…

考察的是i++ ++i到底理不理解。我来从字节码进行分析

理解MR过程中的排序。理解其设计目的。 Map端join，cache的设置。 编程题：找共同好友问题。 spark迭代器pipeline思想（嵌套迭代器，在MR中也有体现）。以及其中的模板方法iterator是父类RDD中的方法，里面调用子类的compute。 HadoopRD…