分布式点滴

初学者在构建复杂代码时，往往会吃不准——我这样写对吗？本文就从”不变性“（invariants）的角度，给大家一些增加信心的”打开方式“。 循环不变性 如果大家看过算法导论，应该对这个词不陌生。

文件系统基本都是构建于块存储之上的。但当然，现在的一些分布式文件系统，如 JuiceFS[2]，底层是基于对象存储的。但无论块存储还是对象存储，其本质都是按 “数据块” 进行寻址和数据交换的。 我们首

我们对文件（File）如此熟悉，以至于很少去思考其本质和关联的一些概念。本文参考 XV6 小册[1]将会简单梳理下文件抽象的本质、妙处和一些细节。

经典的大数据处理主要包括批处和流处理。最近大模型兴起，其训练的流水线在某种程度上也可以称为大数据处理，但具有非常不同的范式。本文仅针对经典的大数据处理场景来展开讨论。

在分布式计算领域，共识问题是最重要而基础的问题。从表面上看含义很直接：可以粗略的理解为多个节点就某件事达成共识。乍看起来，你会觉得，这有什么难的？但不幸的是，很多系统都因为低估了共识算法的实现难度而问

截至 2023 年，Amazon S3 自 2006 年上线以来，已经 17 岁了。在开始之前，我们首先看下Andy Warfield 给出的一组数据，来感受下星球最强的对象存储已经到了什么量级：

在提供最终一致性语义的数据库里，如果你问不同副本同一个问题（比如说查询某条数据），则很可能得到不同的回答（响应），这就很让人迷惑了。如果多副本数据库在行为上能够表现的像只有一个副本，应用层编程将会简单

本章的线性一致性是在铺垫了多副本、网络问题、时钟问题后的一个综合探讨。首先探讨了线性一致的内涵：让系统表现得好像只有一个数据副本。然后讨论如何实现线性一致性，以及背后所做出的的取舍考量。

本章已经梳理了分布式系统和单机系统的诸多差异： 进程间不能共享内存，只能通过消息传递来交互 唯一的通信渠道（网络）还是不可靠的，且有极不确定（unbounded，无界）延迟 需要处理不可靠时

。在这种类型网络中，一个机器向其他机器发送数据包时，不提供任何保证：你不知道数据包什么时候到、甚至不知道它是否能够到

假如你是一个初创公司的 CTO，想迅速推出一款面向 AP 市场可用的数据库产品，还得有差异化的功能（不然谁会用一个新产品），你会怎么做呢？

最近翻 DuckDB 的执行引擎相关的 PPT(Push-Based-Execution) 时，发现了这篇论文，印象中在执行引擎相关的文章中看到他好几次。

“工业流水线”的鼻祖，福特 T 型汽车[1]的电机装配，将组装过程拆成 29 道工序，将装备时间由平均二十分钟降到五分钟，效率提升四倍 ，下图图源[2]。 这种流水线的思想在数据处理过程中也随处可见。

我们在工程实践中，有些构建代码的小技巧，其背后所体现的思想，生活中也常常可见。本系列便是这样一组跨越生活和工程的奇怪联想。这是第一篇：多轮次拆解

由于业务的需要，最近面试了很多数据库候选人。发现很多候选人在面试准备时会有一些普遍的误区，借此机会展开聊聊我作为面试官的一些建议。这次主要讲四个误区：代码基础差、工程素养弱、沟通思维无、知识框架碎。

RocksDB 是很多分布式数据库的底层存储，如 TiKV、CRDB、NebulaGraph 等等。在 DataDog 工作的 Artem Krylysov 写了一篇文章RocksDB 做了一个科普

本论文旨在实现一种针对内存型数据库的、基于多版本（MVCC）实现的、支持可串行化隔离级别的高性能数据结构。其基本思想是： 使用列存 复用 Undo Buffer 数据结构

我是谁 我是“木鸟杂记”博客： https://www.qtmuniao.com/ 作者青藤木鸟。有多年的分布式系统、数据处理、存储和数据库工作经验，现在在一家图数据库创业公司做存储层。

国内很多大学的计算机专业，比较偏重基础和理论的“灌输”（就我当年上学的体验，现在可能会好一些），对于代码能力，虽然也有一些课程实验，但往往不太够用。

不知道为何，今年朋友圈分享年终总结的朋友格外多。我挺喜欢这个形式，一来，我很爱看别人的年终总结，看故事之余还能看到一些不同路径；二来，每年定期回顾下，也确实能帮着梳理下思路，简单做下展望。