Kafka数据清理机制

47 阅读1分钟

Kafka存储结构:

  • Kafka中topic的数据存储在分区上,分区如果文件过大会分段存储segment
  • 每个分段都在磁盘上以索引(xxx.index)和日志文件(xxx.log)的形式存储
  • 分段的好处是,第一能够减少单个文件的大小,查找数据方便,第二方便kafka进行日志清理。

日志的清理策略有两个:

  • 根据消息的保留时间,当消息保存的时间超过了指定的时间,就会触发清理,默认是168小时(7天)
  • 根据topic存储的数据大小,当topic所占的日志文件大小大于一定的阈值,则开始删除最久的消息。(默认关闭)