语落心生

第13章：分区与过期管理 导言：如何优雅地清理旧数据 在运营一个大型数据系统时，会积累大量的历史数据。如何高效地清理？如何避免误删？ 这就是分区与过期管理的核心问题。 第一部分：分区设计 1.1 分区

第12章：索引与加速 导言：加快查询速度的利器 在前面的章节中，我们讲了文件选择、谓词下推等优化手段。但有时候文件太多，统计信息不够精准，这时就需要索引来加速查询。 第一部分：Deletion Vec

第11章：Changelog变更日志 导言：实时数据流的核心 在第10章，我们讲了同一主键的多个版本如何合并。现在需要讨论如何让下游系统感知到这些变化。答案就是Changelog（变更日志）。 Cha

第10章：Merge Engine合并引擎 导言：同一主键的多个版本怎么合并 在之前的章节中，我们讲到LSM Tree会有多个版本的同一主键。比如： Merge Engine的职责：定义如何合并同一主

第9章：Compaction压缩机制 导言：Compaction的目标 在第8章，我们学到了LSM Tree的分层结构和读取原理。但如何维护这个结构？如何定期清理冗余数据？答案就是Compaction

第8章：LSM Tree核心原理 导言：为什么需要LSM Tree 传统数据库使用B+Tree来存储数据： Paimon的选择：LSM Tree（Log-Structured Merge Tree）

第5章：写入流程全解析 导言：从应用到文件的完整旅程 在第4章，我们了解了FileStore及其两种实现。但是真正的写入操作发生在哪里？数据如何从应用到达磁盘？ 本章将深入讲解完整的写入链路： 第一部

第7章：读取流程全解析 读取的三个阶段 Paimon的读取分为三个阶段： 扫描计划(Scan)：确定需要读取哪些文件 分片生成(Split)：将文件分割成可并行处理的任务 数据读取(Read)：从分片

第6章：提交流程与事务保证 如何确保原子提交？ Paimon使用两阶段提交协议确保分布式写入的一致性： 提交的关键步骤 6.1 两阶段提交协议 阶段1：Prepare(数据端) 在Flink中，pre