霍云

MR的编程模型，在Mapper中定义了每条数据的处理逻辑。MapTask把数据写到磁盘，然后reduceTask进行拉取，在Reducer中定义了每组数据的处理逻辑，很容易...

Spark的shuffle系统很复杂，同时我认为这也是比MR快的最重要原因。MR是早期产物，Spark必然取其精华，弃其糟粕 源码中说这种方式是序列化的形式，非常高效。看看...

到现在的12月，我们一起成长，都希望每一次，可以做得比之前那个不成熟的自己更好。 现在是凌晨1点，能在后端这个页面最后看到自己，我很开心。 我深知我并不是与众不同的那一个，...

shuffle不是spark的专属产物，MR里也有。这是大数据分布式计算的逻辑，分布式计算就得这么搞。只不过spark在源码里做了很多能让分布式计算变快的操作！ 这是我们作...

Spark里有很多RDD，且RDD之间有依赖关系。就像是一个单链表。 DAGScheduler这个类的源码注释非常值得一看。 我理解的计算分为不相关计算(filter,ma...

考察的是i++ ++i到底理不理解。我来从字节码进行分析...

理解MR过程中的排序。理解其设计目的。 Map端join，cache的设置。 编程题：找共同好友问题。 spark迭代器pipeline思想（嵌套迭代器，在MR中也有体现）...

MR是大数据技术中的基本功。MR源码分析的目的是清楚一个MR Job其中有哪些细节。通过一个分组取TopN的例子来串一遍所有细节，并且培养大数据计算编程手感 如下数据，求出...

如上代码，我起了一个java-server，在执行new ServerSocket(8899)之后，就开始睡眠了。不过在这时操作系统已经产生了一个listen socket...

众所周知nio中buffer是核心的部分。看过视频也看过一些博客，我记录一下我的理解。 buffer是一块内存，可以是onheap也可以是堆外。里面有三个核心的概念 buf...

官方文档中有原理讲解，以及重要配置。最重要的三个章节为input、filter、output。很多时候都需要从这三个章节中学习。 目前每个logstash数据流都是一个单独...

如何判断链表是否有环？...

cookie会保存在客户端浏览器上。 在学习Servlet相关的源码的时候，看到Cookie这个类的源码时，其中的注释说的很明白什么时cookie了。同时源码中也说了如何使...

第一眼看起来这代码在这突突啥，在纸上画一画这些操作。...

其实这个问题是最难受的，记得刚开始研究elk的时候，就发现时间在logstash里比北京时间慢8小时，写入es后，es里的时间也同样是比北京时间慢8小时。 我们也用了kib...

之前只是知道在一个线程中调用了其他线程的join方法会让那个线程执行，自己进行休眠。 join是一个实例方法，而且是synchroinzed的。说明进到这个方法拿到了该对象...