从上一年开始鸽了好久的源码篇，终于也是给整了一下。其实一方面也是，怕自己整理不好，看的云里雾里，那也没什么意思，所以还是花了些时间准备，也是希望能够和大家一起进步吧。注意，本文篇幅非常长，建议结合PC端的右侧导航观看，效果更佳。好的！话不多说，开始吧！ 如果要一个一个类地去说明…

假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。 使用二八法则估计，也就是80%的数据（8亿）会在16个小时涌入，而且8亿的80%的数据（6.4亿）会在这16个小时的20%时间（3小时）涌入。 QPS计算公式：640000000 ÷ (3x60…

本来插曲系列是应大家要求去更新的，但是好像第一篇的kafka效果还可以所以更插曲就勤快些了（毕竟谁不想看着自己被多多点赞呢hhh🤣），上一篇说了一个案例是为了说明如何去考量一个kafka集群的部署，算是一个参考吧，毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。 这次我…

此时我们要拉取一个version的值，并把一个 needUpdate 参数修改为true，然后去唤醒 Sender 线程去拉取元数据，而这需要通过一个网络组件 NetworkClient 和Broker通信。 在此同时，主线程会进行阻塞，等待元数据的到来。而当元数据拉取完成后，…

应大部分的小伙伴的要求，在Yarn之前先来一个kafka的小插曲，轻松愉快。 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了…

因为Kafka的源码阅读是需要对Java NIO知识有一定的了解的，所以怎么说，如果觉得自己对于Java这块算是比较熟悉，同样作为插曲篇的这篇是可以直接忽略。因为这篇也不会涉及什么重难点，主要还是过过基础，让后面的源码篇读起来更加通畅。 Java New IO是从Java1.4…

虽然这是一个源码的预热篇同样这也是插曲篇的一个总结，我们从一开始的集群的各个角色，到集群的设计，到网络模型，到生产者，消费者都已经提了个遍。这一篇会把最后的一个内核提一下，然后对以往的概念三篇做一个总结，把流程梳理一下，增加记忆的同时，也让后面的源码变得更加轻松愉快，好的这是最…