大家好，我是云祁。 有人说世界上有三个伟大的发明：火，轮子，以及 Kafka。 发展到现在，Apache Kafka 无疑是很成功的，Confluent 公司曾表示世界五百强中有三分之一的企业在使用

这篇文章会给大家展示Kafka它的高性能是如何设计的，大家也可以学习相关方法论将其利用在实际项目中，也许下一个顶级项目就在各位的代码中产生了。

在这篇文章中，我将从消息在Kafka中的物理存储方式讲起，介绍分区-日志段-日志的各个层次。 然后我将接着上一篇文章的内容，把消费者的内容展开讲一讲，区分消费者与消费者组，以及这么设计有什么用。 根据消费者的消费可能引发的问题，我将介绍Kafka中的位移主题，以及消费者要怎么提…

应大部分的小伙伴的要求，在Yarn之前先来一个kafka的小插曲，轻松愉快。 所以消息系统就是如上图我们所说的仓库，能在中间过程作为缓存，并且实现解耦合的作用。 引入一个场景，我们知道中国移动，中国联通，中国电信的日志处理，是交给外包去做大数据分析的，假设现在它们的日志都交给了…