这是我参与「第五届青训营」笔记创作活动的第15天。

一、本堂课重点知识

今天主要的学习内容是存储本质的相关知识。

二、详细知识点介绍

1. 经典案例

一条数据从产生，到数据流动，最后持久化的全生命周期

数据的产生
- 注册
数据的流动
- 传输
数据的持久化
- 校验数据合法性
- 修改内存
- 写入存储介质
潜在问题
- 数据库怎么保证数据不丢？
- 数据库怎么处理多人同时修改的问题？
- 为什么用数据库，除了数据库还能存到别的存储系统吗？
- 数据库只能处理结构化数据吗？
- 有哪些操作数据库的方式，要用什么编程语言？

2. 存储&数据库简介

Q：什么是存储系统？
A：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

存储系统特点：

作为后端软件的底座，性能敏感
存储系统代码，既“简单”又“复杂”
存储系统软件架构，容易受硬件影响

存储器层级结构

数据怎么从应用到存储介质

缓存很重要，贯穿整个存储体系
拷贝很昂贵，应该尽量减少
硬件设备五花八门，需要有抽象统一的接入层

RAID技术

Q：单机存储系统怎么做到高性能/高性价比/高可靠性？

A：R(edundant) A(rray) of I(nexpensive) D(isks)

RAID出现的背景

单块大容量磁盘的价格>多块小容量磁盘
单块磁盘写入性能<多块磁盘的并发写入能力
单块磁盘的容错能力有限，不够安全
RAID 0
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强
RAID 0+1
- 结合了RAID 0和RAID 1
- 真实空间利用率仅50%
- 容错能力强，写入带宽好

数据库和存储系统不一样吗？

关系型数据库
- 是存储系统
- 结构化数据友好
- 支持事务(ACID)
- 支持复杂查询语言
非关系型数据库
- 是存储系统
- 半结构化数据友好
- 可能支持事务(ACID)
- 可能支持复杂查询语言

关系(Relation)是什么？

关系 = 集合 = 任意元素组成的若干有序偶对

反映了事物间的关系

关系代数 = 对关系做运算的抽象查询语言

SQL = 一种DSL = 方便人类阅读的关系代数表达形式

事务

A(tomicity)，事务内的操作要么全做，要么不做
C(onsistency)，事务执行前后，数据状态是一致的
I(solation)，可以隔离多个并发事务，避免影响
D(urability)，事务一旦提交成功，数据保证持久性

复杂查询能力

Q：写入数据之后，想做很复杂的查询怎么办？
Example：请查询出名字以xiao开头，且密码提示问题小于10个字的人，并按性别分组统计人数

3. 主流产品创新

3.1 单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

本地文件系统
key-value存储

Linux经典哲学：一切皆文件

文件系统的管理单元：文件
文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构：Index Node&Directory Entry
- Index Node
  - 记录文件元数据，如id、大小、权限、磁盘位置等
  - inode:是一个文件的唯一标识，会被存储到磁盘上
  - inode的总数在格式化文件系统时就固定了
- Directory Entry
  - 记录文件名、inode指针、层级关系(parent)等
  - dentry是内存结构，与inode的关系是N:1(hardlink的实现)

世间一切皆key-value

key是你身份证，value是你的内涵
常见使用方式：put(k,v)&get(K)
常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB

3.2 分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

分布式文件系统
分布式对象存储

HDFS：堪称大数据时代的基石

时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高

Ceph:开源分布式存储系统里的万金油

Ceph的核心特点

一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法(HASH + 权重 + 随机抽签)

3.3 单机数据库

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库
- 商业产品Oracle称王，开源产品MySQL&PostgreSQL称霸
- 关系型数据库的通用组件
  - Query Engine-负责解析query,生成查询计划
  - Txn Manager-负责事务并发管理
  - Lock Manager—负责锁相关的策略
  - Storage Engine-负责组织内存/磁盘数据结构
  - Replication-负责主备同步
- 关键内存数据结构：B-Tree、B+-Tree、LRU List等
- 关键磁盘数据结构：WriteAheadLog(RedoLog)、Page
非关系型数据库
- MongoDB、Redis、Elasticsearch三足鼎立

关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同

非关系型数据库的数据结构千奇百怪没有关系约束后，schema相对灵活

不管是否关系型数据库，大家都在尝试支持SQL（子集）和“事务”

3.4 分布式数据库

单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决？

容量
- 单点容量有限，受硬件限制
- 存储节点池化，动态扩缩容
弹性
- 扩缩容
性价比

高级问题

单写vs多写
从磁盘弹性到内存弹性
分布式事务优化

4. 新技术演进

新架构
- 软件架构变更
  - Bypass OS kernel
新硬件
- 新硬件革命
  - 存储介质变更
  - 计算单元变更
  - 网络硬件变更
- RDMA网络
- Persistent Memory
- 可编程交换机
- CPU/GPU/DPU
新理论
人工智能
- AI增强
  - 智能存储格式转换

三、实践练习例子

实现一个（分布式）key-value存储系统

要求：

基于本地文件系统实现，支持常用的put(k,v)、get(k,v)、scan_by_prefix(prefix)接口
支持存储server独立进程部署，支持跨进程或者网络访问
IO操作做到低时延
*可选：支持扩展成分布式架构，多台存储server组成一个分布式key-value存储系统，并保证全局的数据一致性

四、课后个人总结

学习到了更多存储的本质相关知识。

五、引用参考

paper.dvi (googleusercontent.com)

认识存储的本质 | 青训营笔记