木鸟杂记

初学者在构建复杂代码时，往往会吃不准——我这样写对吗？本文就从”不变性“（invariants）的角度，给大家一些增加信心的”打开方式“。 循环不变性 如果大家看过算法导论...

文件系统基本都是构建于块存储之上的。但当然，现在的一些分布式文件系统，如 JuiceFS[2]，底层是基于对象存储的。但无论块存储还是对象存储，其本质都是按 “数据块” 进...

我们对文件（File）如此熟悉，以至于很少去思考其本质和关联的一些概念。本文参考 XV6 小册[1]将会简单梳理下文件抽象的本质、妙处和一些细节。...

YC 发布的“创业公司征集请求”是其基于对市场趋势、技术进步和全球挑战的深入理解，对全球创业社区的发出的一种前瞻性呼吁，相信能够对创业者和想选择创业公司的小伙伴们有诸多启发...

经典的大数据处理主要包括批处和流处理。最近大模型兴起，其训练的流水线在某种程度上也可以称为大数据处理，但具有非常不同的范式。本文仅针对经典的大数据处理场景来展开讨论。...

在分布式计算领域，共识问题是最重要而基础的问题。从表面上看含义很直接：可以粗略的理解为多个节点就某件事达成共识。乍看起来，你会觉得，这有什么难的？但不幸的是，很多系统都因为...

相比 Paxos，Raft 的一大特色就是算法拆成了相对正交的几个部分——领导者选举、日志同步、状态持久化、日志压缩和配置变更。...

截至 2023 年，Amazon S3 自 2006 年上线以来，已经 17 岁了。在开始之前，我们首先看下Andy Warfield 给出的一组数据，来感受下星球最强的对...

在提供最终一致性语义的数据库里，如果你问不同副本同一个问题（比如说查询某条数据），则很可能得到不同的回答（响应），这就很让人迷惑了。如果多副本数据库在行为上能够表现的像只有...

本章的线性一致性是在铺垫了多副本、网络问题、时钟问题后的一个综合探讨。首先探讨了线性一致的内涵：让系统表现得好像只有一个数据副本。然后讨论如何实现线性一致性，以及背后所做出...

本章已经梳理了分布式系统和单机系统的诸多差异： 进程间不能共享内存，只能通过消息传递来交互 唯一的通信渠道（网络）还是不可靠的，且有极不确定（unbounded，无界）延迟...

。在这种类型网络中，一个机器向其他机器发送数据包时，不提供任何保证：你不知道数据包什么时候到、甚至不知道它是否能够到...

假如你是一个初创公司的 CTO，想迅速推出一款面向 AP 市场可用的数据库产品，还得有差异化的功能（不然谁会用一个新产品），你会怎么做呢？...

冒泡排序、选择排序和插入排序是三种最基本的排序算法。其原理是相通的：将数组划分成前后两个子集：前面是有序集，后面是无序集。三种方法都是线性的一次从无序集中搬一个元素到有序集...

最近翻 DuckDB 的执行引擎相关的 PPT(Push-Based-Execution) 时，发现了这篇论文，印象中在执行引擎相关的文章中看到他好几次。...

“工业流水线”的鼻祖，福特 T 型汽车[1]的电机装配，将组装过程拆成 29 道工序，将装备时间由平均二十分钟降到五分钟，效率提升四倍 ，下图图源[2]。 这种流水线的思想...

我们在工程实践中，有些构建代码的小技巧，其背后所体现的思想，生活中也常常可见。本系列便是这样一组跨越生活和工程的奇怪联想。这是第一篇：多轮次拆解...

由于业务的需要，最近面试了很多数据库候选人。发现很多候选人在面试准备时会有一些普遍的误区，借此机会展开聊聊我作为面试官的一些建议。这次主要讲四个误区：代码基础差、工程素养弱...

RocksDB 是很多分布式数据库的底层存储，如 TiKV、CRDB、NebulaGraph 等等。在 DataDog 工作的 Artem Krylysov 写了一篇文章R...

本论文旨在实现一种针对内存型数据库的、基于多版本（MVCC）实现的、支持可串行化隔离级别的高性能数据结构。其基本思想是： 使用列存 复用 Undo Buffer 数据结构...