Kafka 的日志清理机制通过 删除（Delete） 和 压缩（Compact） 两种策略管理磁盘数据，确保存储空间高效利用。以下是日志清理的核心流程、配置及适用场景：
1. 日志存储结构
• 分区日志目录： • 每个分区的日志存储在 ${log.dirs}/topic-分区ID/ 目录下（如 order-events-0）。 • 包含多个 Segment 文件（.log、.index、.timeindex）。 • Segment 文件： • 文件名基于基准偏移量（Base Offset），如 00000000000000000000.log。 • 每个 Segment 大小由 log.segment.bytes（默认1GB）控制。
2. 日志清理策略
(1) 删除策略（Delete）
• 触发条件： • 时间：Segment 的最后修改时间超过 retention.ms（默认7天）。 • 大小：所有 Segment 总大小超过 retention.bytes（默认-1，即不限制）。 • 清理流程：
- 日志管理器（Log Manager）周期性检查可删除的 Segment。
- 删除旧 Segment，保留活跃 Segment（当前正在写入的 Segment）。 • 配置参数：
cleanup.policy=delete # 启用删除策略
retention.ms=604800000 # 7天（默认）
retention.bytes=-1 # 不限制大小
(2) 压缩策略（Compact）
• 核心逻辑： • 保留每个 Key 的最新 Value，删除旧版本和 Tombstone（墓碑消息，Value为null）。 • 适用场景：数据库变更捕获（CDC）、需要精确恢复 Key 状态的场景。 • 压缩流程：
- 选择待压缩的 Segment： ◦ 根据
min.cleanable.dirty.ratio（默认0.5）选择脏数据比例高的 Segment。 - 构建新 Segment： ◦ 遍历旧 Segment，保留每个 Key 的最后一条有效记录。
- 替换旧 Segment： ◦ 新 Segment 写入完成后，删除旧文件，更新索引。 • 配置参数：
cleanup.policy=compact # 启用压缩策略
min.cleanable.dirty.ratio=0.5 # 触发压缩的脏数据比例阈值
delete.retention.ms=86400000 # 保留墓碑消息的时间（默认24小时）
(3) 混合策略
• 同时启用删除和压缩：
cleanup.policy=delete,compact
• 行为：按时间/大小删除旧 Segment，同时对保留的 Segment 进行压缩。
3. 日志清理过程
(1) 清理线程管理
• Log Cleaner： • 后台线程池负责执行清理任务（线程数由 num.io.threads 控制，默认8）。 • 每个清理线程处理多个分区的日志。
(2) 压缩过程详解
- 选择待压缩的 Segment： • 根据
min.cleanable.dirty.ratio，选择脏数据比例超过阈值的 Segment。 • 脏数据比例 = (Segment 大小 - 清理点偏移量之后的日志大小) / Segment 大小。 - 创建压缩映射表： • 遍历待压缩的 Segment，记录每个 Key 的最新偏移量。
- 写入新 Segment： • 将每个 Key 的最新 Value 写入新 Segment，跳过重复和墓碑消息。
- 替换旧文件： • 新 Segment 通过原子操作替换旧文件，确保清理过程不影响读写。
(3) 墓碑消息（Tombstone）处理
• 作用：显式标记某 Key 已删除，需在压缩后保留一段时间，确保消费者能感知删除操作。 • 保留时间：由 delete.retention.ms（默认24小时）控制，超时后 Tombstone 被删除。
4. 监控与调优
(1) 监控指标
• 日志保留状态：
kafka-log-dirs.sh --describe --bootstrap-server <broker>
• 输出各分区的日志大小、Segment 数量、最早/最新偏移量。 • 压缩进度： • 监控 kafka.log:type=LogCleanerManager,name=* 的 JMX 指标（如剩余待压缩字节数）。
(2) 调优建议
| 参数 | 调优场景 | 建议值 |
|---|---|---|
log.retention.check.interval.ms | 控制清理检查频率 | 生产环境：5分钟（300000ms） |
segment.ms | 控制 Segment 滚动时间（避免过大） | 按业务流量设置（如1小时） |
num.cleaner.threads | 提升压缩速度（高吞吐场景） | 根据 CPU 核心数调整 |
(3) 常见问题
• 清理不生效： • 检查 cleanup.policy 是否配置正确，且日志目录权限正常。 • 压缩性能差： • 增加 num.cleaner.threads，或增大 min.cleanable.dirty.ratio 减少压缩频率。 • 磁盘空间不足： • 降低 retention.ms 或 retention.bytes，或增加 log.dirs 目录数量。
5. 总结
Kafka 的日志清理机制通过 删除策略 和 压缩策略 实现数据生命周期管理：
- 删除策略：按时间或大小清理旧数据，适合日志类数据（如访问日志）。
- 压缩策略：保留 Key 的最新状态，适合状态跟踪场景（如用户会话、数据库变更）。
- 混合策略：灵活平衡存储效率与数据完整性。
理解清理策略的触发条件、配置参数及监控方法，可帮助优化存储成本，同时保障数据的可靠性与一致性。
