这是我参与「第五届青训营」伴学笔记创作活动的第 15 天

零、前言

本文记录和整理了本人在跟随字节青训营学习的一些我个人感觉比较重要的内容和知识，也有一部分内容是我认为自己比较难理解或记忆的，也一并记录于此文。

撰写本文的目的主要是方便我自己的复习和查阅，倘若各位读者有与我相似的问题，也可以参考之，如果对各位有帮助那就是我莫大的荣幸，也期望各位不吝赐教，多多指出我的问题，可以在下方留言或者私信我。

avatar

一、存储系统

什么是存储系统？

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

存储系统的特点？

作为后端软件的底座，性能敏感；
存储系统软件架构，容易受硬件影响；
存储系统代码，既简单又复杂；

存储系统的层级结构

avatar

数据如何从应用到存储介质？

应用程序生成数据
数据通过系统的 I/O 设备传输到内存
操作系统将内存中的数据写入存储介质（如硬盘、SSD、U盘）
数据在存储介质上长期存储，以便在将来使用。

RAID技术

单机存储系统如何做到高性能 / 高性价比 / 高可靠性？

Redundant Array of Inexpensive Disks

RAID出现的背景是：

单块大容量磁盘的价格 > 多块小容量磁盘
单块磁盘的写入性能 < 多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全

于是有了：

二、数据库

关系型数据库的"关系"是什么？

关系 = 集合 = 任意元素组成的若干有序偶对

反映了事物之间的关系

关系代数 = 对关系作运算的抽象查询语言

SQL = 一种DSL(Domain Specific Language) = 方便人类阅读的关系代数表达形式

非关系型数据库也是存储系统，但是一般不要求严格的序列化

结构化数据管理

这是数据库之于经典存储的区别；

写入关系型数据库以表形式管理
写入文件，自行定义管理结构

其事务能力也因此凸显（ACID）：

Atomicity：事务内的操作要么全做，要么不做
Consistency：事务执行前后，数据的状态是一致的
Isolation：可以隔离多个并发事务，避免影响
Durability：事务一旦提交成功，数据保证持久性

三、主流产品剖析

单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

HDFS
Ceph

单机关系型数据库

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

单机非关系型数据库

关系型数据库一般直接使用SQL交互

而非关系型数据库交互方式各不相同

分布式数据库

引入分布式架构：

解决容量问题
解决弹性问题
解决性价比问题
单写 → 多写
磁盘弹性 → 内存弹性
分布式事务优化

四、新技术演进

软件架构变更

SPDK：Storage Performance Development Kit

Bypass OS kernel已经成为一种趋势

AI增强

智能存储格式转换

新硬件革命

存储介质变更
计算单元变更
网络硬件变更

例如RDMA网络，Persistent Memory，可编程交换机和CPU GPU DPU等...

五、课后作业

题目：

实现一个分布式Key-Value存储系统

要求：

基于本地文件系统实现，支持常用的put(k, v)、get(k, v)、scan_by_prefix(prefix)接口
支持存储server独立进程部署，支持跨进程或者网络访问
IO操作做到低时延
*可选：支持扩展成分布式架构，多态存储server组成一个分布式key-value存储系统，并保证全局的数据一致性

思路：

使用B+树作为数据结构，将数据存储在磁盘上，并实现相应的读写操作。

put(k, v): 将键值对 (k, v) 插入B+树，并写入磁盘
get(k): 读取B+树并返回与键 k 对应的值 v
scan_by_prefix(prefix): 遍历B+树，返回所有以 prefix 为前缀的键值对

值得一提的是，为了保证高效的读写操作，可以使用内存缓存，在某一阈值被超过时将数据写入磁盘。同时可以考虑使用多线程来提高系统的并发性。

部分代码：

put(k, v):

import redis
r = redis.Redis(host='localhost', port=6379, db=0)
r.set(k, v)

get(k):

import redis
r = redis.Redis(host='localhost', port=6379, db=0)
value = r.get(k)

scan_by_prefix(prefix):

import redis
r = redis.Redis(host='localhost', port=6379, db=0)
keys = r.keys(pattern=prefix + '*')
for key in keys:
    value = r.get(key)
    # do something with the key-value pair

THE END

存储的本质 | 青训营笔记