对快速理解 Kafka 原理和工程模型很有帮助

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 注意本文采用最新版本进行Kafka的内核原理剖析，新版本每一个Consumer通过独立的线程，来管理多个Socket连接，即同时与多个broker通信实现消息的并行读取。这…

看过之前的文章面试官：消息中间件如何实现每秒几十万的高并发写入？的同学，应该都知道写入Kafka的数据是会落地写入磁盘的。 我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了Kafka的核心架构原理。 所以说，这里就得考虑数据的分布式存储了，其实关于消息中间件的分布式…

本文介绍了 Kafka Stream 的背景，如 Kafka Stream 是什么，什么是流式计算，以及为什么要有 Kafka Stream。接着介绍了 Kafka Stream 的整体架构、并行模型、状态存储以及主要的两种数据集 KStream 和 KTable。

今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。 而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。 所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并不是很了解。 此…

假如说现在你有一个系统，他需要连接很多很多的硬件设备，这些硬件设备都要跟你的系统来通信。 首先，他一定会跟你的系统建立连接，然后会基于那个连接发送请求给你的系统。 接着你的系统会返回响应给那个系统，最后是大家一起把连接给断开，释放掉网络资源。 所以我们来看一下下面的那个图，感受…

但是实际上，数据库层面的分库分表到底是用来干什么的，他的不同的作用如何应对不同的场景，我觉得很多同学可能都没搞清楚。 假如我们现在是一个小创业公司，注册用户就20万，每天活跃用户就1万，每天单表数据量就1000，然后高峰期每秒钟并发请求最多就10。 天哪！就这种系统，随便找一个…

这个acks参数在kafka的使用中，是非常核心以及关键的一个参数，决定了很多东西。 所以无论是为了面试还是实际项目使用，大家都值得看一下这篇文章对Kafka的acks参数的分析，以及背后的原理。 如果要想理解这个acks参数的含义，首先就得搞明白kafka的高可用架构原理。 …

topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队；在磁盘上以文件夹的形式存在；消息最终以文件形式保存在partition文件夹下面，分段存储。 对于一个partition（在Broker中以文件夹的形式存在），里面又有很…