cdpac

对每个topicPartition，调用对应partition的appendRecordsToLeader方法写入日志。 partition将日志写入自己的log中。在写入之前首先要判断是否有足够的ISR。如果ISR数目低于minIsr且ack==-1,那么这次就不能写入，返回…

在这一节介绍kafka server处理offset相关请求的过程。offset相关的请求有两个，分别是offset_commit和offset_fetch。 首先先对请求进行鉴权，如果鉴权不通过（对group无权限），返回GROUP_AUTHORIZATION_FAILED错…

我们知道，kafka通过其副本同步机制保障消息高可用性。kafka的副本是针对分区而言，每个分区拥有一个leader和若干follower，follower通过向leader拉取消息保证自己随时接替成为新leader的可能性。那么，什么样的follower能够成为leader呢…

在kafka server启动的时候，会创建出一个replica manager，专门用来管理partition的replica的状态。我们看一下这个类的构造方法。构造参数就不看了，直接看他的成员变量 replicaFetcherManager和replicaAlterLogD…

controller中有两个主要的状态机，分别是replicaStateMachine和partitionStateMachine。我们先看replicaStateMachine replica state machine保存了replica的状态，并且定义了一个replica…

childChangeHandler关注的是子节点的变化，而nodeChangeHandler关注的是节点的变化。childChangeHandler有以下几种 childChangeHandler都是其子类。 它在controller的主线程队列中添加进一个BrokerCha…

kafka server在启动的时候都会启动一个kafka controller，它相当于kafka集群的master。但是启动controller并不代表这个broker就是集群的controller，启动controller只是用于在这台broker上面注册一个监听会话过期…

一个TopicPartition的Log是由多个LogSegment组成的，这些segment包含了不想交的offset的日志。每个LogSegment由一下几个部分组成： 总体来讲，segment是由数据和索引组成。日志数据是代表着一条条日志的集合，映射到磁盘的一个文件上面。…

首先寻找non-compacted的日志，如果cleaner不为空，要再去除掉正在进行clean工作的日志。剩余的日志就是需要进行删除的日志，其LogCleaningPaused(i)标记为1. 如果log没有配置delete，只要segment满足上述条件3就可以删除。 fl…