持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第6天，点击查看活动详情
前言
今天是我 Kafka 学习的第七天，今天学习的内容是日志文件的索引。包括索引的存储方式、索引大小，索引格式等。
索引类型
稀疏索引
Kafka 中的索引文件以 稀疏索引（sparse index） 的方式构造消息的索引，它并不保证每个消息在索引文件中都有对应的索引项。每当写入一定量（由 broker 端参数 log.index.interval.bytes 指定，默认值为 4096，即 4KB）的消息时，偏移量索引文件和时间戳索引文件分别增加一个偏移量索引项和时间戳索引项，增大或减小 log.index.interval.bytes 的值，对应地可以增加或缩小索引项的密度。
查找方式
疏索引通过 MappedByteBuffer 将索引文件映射到内存中，以加快索引的查询速度。
偏移量索引文件中的偏移量是单调递增的，查询指定偏移量时，使用二分查找法来快速定位偏移量的位置，如果指定的偏移量不在索引文件中，则会返回 小于指定偏移量的最大偏移量。时间戳索引文件中的时间戳也保持严格的单调递增，查询指定时间戳时，也根据二分查找法来查找不大于该时间戳的最大偏移量。
至于要找到对应的物理文件位置还需要根据偏移量索引文件来进行再次定位。稀疏索引的方式是在磁盘空间、内存空间、查找时间等多方面之间的一个折中。
索引文件切分
日志分段文件在达到一定的条件时也会进行切分，那么其对应的索引文件也需要进行切分。切分条件如下：
-
日志文件大小：当前日志分段文件的大小超过了 broker 端参数 log.segment.bytes 配置的值。log.segment.bytes 参数的默认值为 1073741824，即 1GB； -
时间戳范围：当前日志分段中消息的最大时间戳与当前系统的时间戳的差值大于某个值，该值为 log.roll.ms 或 log.roll.hours 参数配置的值。如果同时配置了 log.roll.ms 和 log.roll.hours 参数，那么 log.roll.ms 的优先级高。默认情况下，只配置了 log.roll.hours 参数，其值为 168，即 7 天； -
索引文件大小：偏移量索引文件或时间戳索引文件的大小达到 broker 端参数 log.index.size.max.bytes 配置的值。log.index.size.max.bytes 的默认值为 10485760，即 10MB； -
追加消息偏移量差值：追加的消息的偏移量与当前日志分段的偏移量之间的差值大于 Integer.MAX_VALUE，即要追加的消息的偏移量不能转变为相对偏移量（offset-baseOffset＞Integer.MAX_VALUE）。
偏移量索引
偏移量索引项的格式如下图所示，每个索引项占用 8 个字节，分为两个部分：
-
relativeOffset：相对偏移量，表示消息相对于 baseOffset 的偏移量，占用 4 个字节，当前索引文件的文件名即为 baseOffset 的值； -
position：物理地址，也就是消息在日志分段文件中对应的物理位置，占用 4 个字节。
消息的偏移量（offset）占用 8 个字节，也可以称为绝对偏移量。索引项中没有直接使用绝对偏移量而改为只占用 4 个字节的相对偏移量（relativeOffset=offset-baseOffset），这样可以减小索引文件占用的空间。举个例子看一下，一个日志分段的 baseOffset 为 32，那么其文件名就是 00000000000000000032.log，offset 为 35 的消息在索引文件中的 relativeOffset 的值为 35-32=3。
上面我们提到，追加的消息的偏移量与当前日志分段的偏移量之间的差值大于 Integer.MAX_VALUE。如果彼此的差值超过了 Integer.MAX_VALUE，那么 relativeOffset就不能用 4 个字节表示了，进而不能享受这个索引项的设计所带来的便利了。
时间戳索引
时间戳索引项的格式如下图所示，每个索引项占用 12 个字节，分为两个部分：
-
timestamp：当前日志分段最大的时间戳； -
relativeOffset：时间戳所对应的消息的相对偏移量。
时间戳索引文件中包含若干时间戳索引项，每个追加的时间戳索引项中的 timestamp 必须大于之前追加的索引项的 timestamp，否则不予追加。
参考文档
- 《深入理解 Kafka：核心设计与实践原理》—— 朱忠华
