kafka

所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。副本机制有什么好处呢？ 提供数据冗余。即使系统部分组件失效，系统依然能够继

对于 Kafka 消费者来说，最重要的事情就是监控它们的消费进度了，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。 所谓滞后程度，就是指消费

为何采用 TCP？ Apache Kafka 的所有通信都是基于 TCP 的，而不是基于 HTTP 或其他协议。无论是生产者、消费者，还是 Broker 之间的通信都是如此。你可能会问，为什么 Kaf

Consumer 端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是 Offset。今天我们要聊的位移是 Consumer 的消费位移，它记录了 Consumer 要消费的下一条

Kafka 中的内部主题（Internal Topic）__consumer_offsets，在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。 老版本 Consu

消费者组，即 Consumer Group，用一句话概括就是：Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。既然是一个组，那么组内必然可以有多个消费者或消费者实例

Kafka 到底在什么情况下才能保证消息不丢失呢？Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证。 第一个核心要素是“已提交的消息”。什么是已提交的消息？当

为什么分区 Kafka分区为Partition，存放消息。kafka主题为topic，真实的数据逻辑容器。在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分

Broker 端参数 首先 Broker 是需要配置存储信息的，即 Broker 使用哪些磁盘。那么针对存储信息的重要参数有以下这么几个： log.dirs：这是非常重要的参数，指定了 Broker

Kafka 属于分布式的消息引擎系统，它的主要功能是提供一套完备的消息发布与订阅解决方案。在 Kafka 中，发布订阅的对象是主题（Topic），你可以为每个业务、每个应用甚至是每类数据都创建专属的主