kafka

HW和LEO HW是 High Watermark 的缩写，俗称高水位，它标识了一个特定的消息偏移量（offset），消费者只能拉取到这个 offset 之前的消息。HW 保证了 Kafka 集群中消

副本机制 副本机制（Replication），通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝。 副本机制的好处 提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可

Group和消费者offset 消费者在消费的过程中需要记录自己消费了多少数据，即消费位置信息。在 Kafka 中，这个位置信息有个专门的术语：消费者位移（Offset）。 位移 和 消费者位移 之间

消费者 在 Kafka 中, 我们把消费消息的一方称为 Consumer 即 消费者, 它是 Kafka 的核心组件之一。它的主要功能是将 Producer 生产的消息进行消费处理，完成消费任务。 消

背景 在很多系统中消息重复是不被允许的，例如一些业务结算平台(如物流平台、银行结算平台等) 为了解决重试导致的消息重复、乱序问题，Kafka提供了生产者发送消息的幂等性和事务特性来阻止消息的重复，这两

Kafka介绍 大家都知道 Kafka 的整个架构非常简洁，是分布式的架构，主要由 Producer、Broker、Consumer 三部分组成，后面剖析丢失场景会从这三部分入手来剖析。 消息传传递语

1.为什么压缩： 压缩秉承了用时间换空间的经典trade-off思想，即用CPU的时间去换取磁盘空间或网络I/O传输量，Kafka的压缩算法也是出于这种目的。 2.怎么压缩： 了解Kafka如何压缩消

1.1为什么分区 1.kafka有主题（Topic）的概念，他是承载真实数据的逻辑容器，主题之下还分为若干个分区，Kafka消息组织方式实际上是三级结构：主题-分区-消息。主题下的每条消息只会在某一个