一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第4天，点击查看活动详情
前言
kafka有一道经典面试题：kafka是如何保证高吞吐率实现的。相信大家都可以答出来：
- 顺序读写：Kafka 将消息写入到了分区 partition 中，而分区中消息是顺序读写的。顺序读写要远快于随机读写。
- 零拷贝：生产者、消费者对于 kafka 中消息的操作是采用零拷贝实现的。
- 批量发送：Kafka 允许使用批量消息发送模式。
- 消息压缩：Kafka 支持对消息集合进行压缩。 那么，kafka是如何把消息写道磁盘上的呢？今天这篇文章就分析一下。
环境
- apache-zookeeper-3.7.0-bin
- kafka_2.13-3.0.0
消息持久化过程
创建主题
创建test主题
创建test主题,1个副本，1个分区
./kafka-topics.sh --create --bootstrap-server 127.0.0.1:9092 --replication-factor 1 --partitions 1 --topic test
创建完成之后，我们可以看到kafka消息的存储目录下生成了test-0目录（kafka消息的存储目录是在config/server.properties配置文件里指定的，配置项为log.dirs）
kafka消息存储目录详解
进入到test-0目录，可以发现有5个文件，我们只需要关心.index和.log两个文件就行。其中.log存储的是消息的内容，.index文件存储的是消息的索引。
查看分区
kafka消息的组成的逻辑图如下：topic——>partition——>segment
一个主题topic可以有多个分区partition，我们创建的test主题，只有一个分区partition，所以是test-0。segment 是一个逻辑概念，其由两类物理文件组成，分别为“.index”文件和“.log”文 件。“.log”文件中存放的是消息，而“.index”文件中存放的是“.log”文件中消息的索引。
发送消息
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test
接收消息
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning
观察.log文件和.index文件
查看.log文件,不能使用cat命令查看，需要使用kafka自带的工具进行查看，命令如下
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /home/lyj/mq/kafka/kafka_2.13-3.0.0/data/kafka-logs/test-0/00000000000000000000.log --print-data-log
相关参数解释：
- offset：表示的是相对于该分区的记录偏移量，指的是第几条记录，比如0代表第一条记录。
- position：表示该记录相对于当前片段文件的偏移量。
- CreateTime:记录创建的时间。
- isvalid：记录是否有效。
- keysize：表示key的长度。
- valuesize：表示value的长度
- magic：表示本次发布kafka服务程序协议版本号。
- compresscodec：压缩工具。
- producerId：生产者ID（用于幂等机制）。
- sequence：消息的序列号（用于幂等机制）。
- payload：表示具体的消息
查看.index文件
分析两个文件的内容可以看到，我们总共发送了5条消息，log文件中偏移量offset从0变到了4，并且每条消息都记录了消息的偏移量（该topic下的第多少条消息），生成时间，大小，消息内容等。但是为什么在index文件里只有一条数据呢？这是因为index⽂件中并没有为数据⽂件中的每条消息都建⽴索引，⽽是采⽤了稀疏存储的⽅式，每隔⼀定字节的数据建⽴⼀条索引。这样避免了索引⽂件占⽤过多的空间，从⽽可以将索引⽂件保留在 内存中。
结束
至此，关于kafka消息持久化的分享就结束了。
需要交流学习可以关注公众号【温故知新之java】，互相学习，一起进步。
