kafka

消费者组，组内可以有多个消费者，共享同一个 groupid。消费组内的消费者，一般情况下为同一个消费者部署多个实例。 topic 在 kafka 中是一个逻辑上的概念，用于将 partition 分类。1 个 topic 有多个 partition。生产者将消息发送到指定的 t…

kafka-manager、与 kafka 集群不在同一个 compose 中。因此这里需要使用 networks 连接到 kafka 集群的网络中

该参数为 broker 地址，不需要全部都填，因为 kafka 会从当前 broker 中获取其他 broker 信息。不过为了某个 broker 挂掉，一般填多个 broker 地址 在消息发送前，对消息进行处理，该动作发生在序列化器、分区器之前。 kafka 允许配置拦截器…

前面几个组件，在 3.1 的文章中，已经说清楚。现在来看 RecordAccumulator 组件 RecordAccumulator 主要用于缓存消息，以便 Sender 线程能够批量发送消息。RecordAccumulator 会将消息放入缓存 BufferPool（实际上…

kafka 消费者是以 组为基本单位 进行消费的。消费的模型如下 1 个 topic 允许被多个 消费组 消费。再次强调，kafka 消费是以组为单位。 以上这行代码设置了消费组。 topic 为逻辑上的概念，partition 才是物理上的概念。那么看完这个以上的消费模型图。…

kafka 允许通过配置 partition.assignment.strategy 来改变消费组的分区策略。 同时，kafka 也允许我们自定义分区策略，只需要继承 AbstractPartitionAssignor 抽象类即可。 算法按照每个 topic 下的分区数，进行均…

其中 Replicas 就是 AR。 从上图，可以看到，Partition 1 选出了新的 Leader 3，从而导致，brokerId 3 负载较高。 为此，kafka 引进 优先副本概念。 优先副本为 Replicas 列表中的第一个节点。对于 Partition 1 来说…