这是我参与「第五届青训营」笔记创作活动的第10天

内容来自掘金字节内部课：认识存储与数据库, 认识存储与数据库, 存储与数据库的新技术演进

一、本堂课重点内容：

经典案例
存储 & 数据库简介
主流产品剖析
新技术演进

二、详细知识点介绍：

1. 经典案例

数据的产生，数据的流动

数据的持久化

校验数据的合法性：“小明”是否已存在?
修改内存：用高效的数据结构组织数据
写入存储介质：以寿命&性能友好的方式写入硬件

潜在的问题：

数据库怎么保证数据不丢?
数据库怎么处理多人同时修改的问题?
为什么用数据库，除了数据库还能存到别的存储系统吗?
数据库只能处理结构化数据吗?
有哪些操作数据库的方式，要用什么编程语言?

2. 存储 & 数据库简介

2.1 存储系统

系统概览：

Q: 什么是存储系统?

A: 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

（涉及到：用户，存储介质，内存，网络系统）

系统特点：

作为后端软件的底座，性能敏感（大量并发操作）
存储系统代码,既“简单”（io路径不能复杂，不能很多分支）又“复杂”（错误处理考虑从多种情况）
存储系统软件架构，容易受硬件影响

存储器层级结构

static.googleusercontent.com/media/resea…

数据怎样从应用到存储介质：

「缓存」很重要，贯穿整个存储体系
「拷贝」很昂贵，应该尽量减少
硬件设备五花八门，需要有抽象统一的接入层

—— The Linux Programming Interface（第13章 FILE I/O BUFFERING）

RAID 技术：

Q：单机存储系统怎么做到高性能/高性价比/高可靠性?

A： R(edundant) A(rray) of K(nexpensive) D(isks)

RAID出现的背景∶

单块大容量磁盘的价格 > 多块小容量磁盘
单块磁盘的写入性能 < 多块磁盘的并发写入性能。
单块磁盘的容错能力有限，不够安全

RAID 0：

多块磁盘简单组合
数据条带化存储，提高磁盘带宽
没有额外的容错设计

RAID 1：

一块磁盘对应一块额外镜像盘
真实空间利用率仅50%
容错能力强

RAID 0 + 1：

结合了RAIDO和 RAID 1
真实空间利用率仅50%
容错能力强，写入带宽好

2.2 数据库

关系型数据库, 非关系型数据库

概览：

Edgar.F.Codd于1970年提出「关系模型」
关系 = 集合 = 任意元素组成的若干有序偶对反应了事物间的关系
关系代数 = 对关系作运算的抽象查询语言
- 交、并、笛卡尔积……
SQL = 一种DSL（领域专用语言） = 方便人类阅读的关系代数表达形式

关系型数据库特点：

关系型数据库是存储系统,但是在存储之外,又发展出其他能力

结构化数据友好
支持事务(ACID)
支持复杂查询语言

非关系型数据库特点：

非关系型数据库也是存储系统,但是一般不要求严格的结构化

半结构化数据友好
可能支持事务(ACID)
可能支持复杂查询语言

2.3 数据库vs经典存储

结构化数据管理：

事物能力：

凸显出数据库支持「事务」的优越性

事务具有︰

A(tomicity)，事务内的操作要么全做，要么不做
C(onsistency)，事务执行前后，数据状态是一致的（转账后A少100，B多100）
l(solation)，可以隔离多个并发事务，避免影响
D(urability)，事务一旦提交成功，数据保证持久性

复杂查询能力：略

2.4 数据库使用方式

Everything is D(omain) S(pecific) L(anguage) ----> maybe SQL

3. 主流产品剖析

3.1 单机存储

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

eg. 本地文件系统，key-value系统

本地文件系统：

Linux经典哲学:一切皆文件

文件系统的管理单元︰文件
文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构:Index Node & Directory Entry
lndex Node：
- 记录文件元数据，如id、大小、权限、磁盘位置等
- inode是一个文件的唯一标识，会被存储到磁盘上
- inode的总数在格式化文件系统时就固定了(不会扩缩容)
Directory Entry
- 记录文件名、inode指针，层级关系(parent)等
- dentry是内存结构，与inode的关系是N:1(hardlink的实现)

key-value存储

世间一切皆key-value —— key是你身份证，value是你的内涵:)

常见使用方式: put(k, v) & get(k)
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能（顺序写入）
拳头产品:RocksDB（最好不要直接看源码，参数太多太复杂，可以先看levelDB源码）

3.2 分布式存储

概览：

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

两个经典分布式系统：分布式文件系统，分布式对象存储

HDFS

HDFS:堪称大数据时代的基石

时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HDFS核心特点︰

支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高

引申出 hadoop 就近计算（数据尽量不在服务器间挪来挪去）

Ceph

Ceph :开源分布式存储系统里的「万金油」 (推荐读源码 eg.basement model, 分布策略算法-CRUSH算法)

Ceph的核心特点︰

一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型（先写入主节点）
数据分布模型（为了保证可靠性往往会对数据做冗余存储）采用CRUSH算法（通过 HASH+权重+随机抽签来确定数据的落地服务器）

3.3 单机关系型数据库

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库

商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸

关系型数据库的通用组件∶

Query Engine ——负责解析query，生成查询计划
Txn Manager——负责事务并发管理
Lock Manager ——负责锁相关的策略
Storage Engine ——负责组织内存/磁盘数据结构
Replication——负责主备（为了冗余、灾备）同步

关键内存数据结构: B-Tree、B+-Tree、LRU List等

关键磁盘数据结构: WriteAheadLog(RedoLog)，Page

3.4 单机非关系型数据库

非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”

Elasticsearch：

面向 「文档」 存储
文档可序列化成JSON，支持嵌套
存在「index] , index=文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法
支持RESTFUL API，也支持弱SQL交互

MongoDB：

面向 「文档」 存储
文档可序列化成JSON/BSON，支持嵌套
（没有“表”的概念）存在「collection], collection =文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务(多文档、跨分片多文档等)
常用client/SDK交互，可通过插件转译支持弱SQL

Redis：

数据结构丰富(hash表、set、zset、list)
C语言实现，超高性能
主要基于内存,但支持AOF/RDB持久化
常用redis-cli/多语言SDK交互

Elasticsearch使用案例：

模糊匹配；支持模糊搜索 ——跟RDBMS相比，ES天然能做“模糊搜索”，还能自动算出关联程度

3.5 分布式数据库

单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决?

单机的问题：容量、弹性、性价比

解决容量问题：（池化技术）

解决弹性问题：（池化技术）

解决性价比问题：（池化技术）

More to Do

新的问题：

单写vs多写
从磁盘弹性到内存弹性
分布式事务优化

4. 新技术演进

4.1 概览：

软件架构变更
- Bypass OS kernel
AI增强
- 智能存储格式转换
新硬件革命
- 存储介质变更
- 计算单元变更
- 网络硬件变更

4.2 SPDK

Bypass OS kernel已经成为一种趋势

SPDK（Storage Performance Development Kit）：

Kernel Space -> User Space
- 避免syscall带来的性能损耗，直接从用户态访问磁盘
中断（传统io设备为了与外围打交道，有中断机制）->轮询
- 磁盘性能提高后，中断次数（之前是外设性能低，cpu不能干等，因此要中断）随之上升,不利于IO性能
- SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能
无锁数据结构
- 使用Lock-free queue，降低并发时的同步开销

4.3 AI & Storage

AI领域相关技术，如Machine Learning在很多领域︰如推荐、风控、视觉领域证明了有效性

4.4 高性能硬件

RDMA网络

传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态 & 内核态的切换，足够通用但性能不是最佳
RDMA是 kernel bypass的流派，不经过传统的网络协议柱,可以把用户态虚拟内存映射给网卡，减少拷贝开销,减少cpu开销

Persistent Memory 在NVMe SSD和Main Memory间有一种全新的存储产品:Persistent Memory

IO时延介于SSD和Memory之间，约百纳秒量级
可以用作易失性内存(memory mode)，也可以用作持久化介质(app-direct)

可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

CPU/GPU/DPU

CPU:从multi-core走向many-core
GPU:强大的算力&越来越大的显存空间
DPU:异构计算，减轻CPU的workload

总结

存储系统
- 块存储:存储软件栈里的底层系统,接口过于朴素
- 文件存储︰日常使用最广泛的存储系统，接口十分友好，实现五花八门
- 对象存储︰公有云上的王牌产品，immutable语义加持
- key-value存储︰形式最灵活，存在大量的开源/黑盒产品
数据库系统
- 关系型数据库︰基于关系和关系代数构建的，一般支持事务和SQL访问，使用体验友好的存储产品
- 非关系型数据库∶结构灵活，访问方式灵活，针对不同场景有不同的针对性产品
分布式架构
- 数据分布策略︰决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能
- 数据复制协议:影响IO路径的性能、机器故障场景的处理方式
- 分布式事务算法︰多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计

在存储 & 数据库领域，硬件反推软件变革非常常见

课后思考

【后端专场学习资料六】第五届字节跳动青训营

写入存储系统的粒度太大，会不会导致数据原子性问题？例如一次性写100MB，如果系统突然crash，会不会只有一部分数据持久化了，另一部分丢失了？如果要解决原子性问题，一般会设计什么机制？
在从应用程序到存储介质的链路上，无论读还是写，数据可能要被拷贝好几次，这几次拷贝能不能去掉？如果我们去掉大部分拷贝操作，会有什么副作用，要怎么缓解副作用？
一个关系型数据库大概率是会被并发访问的，如果要保证并发安全，除了在行数据上加悲观锁还有其他方式吗？
在数据库领域，把数据按行存和按列存各有好处，你能从性能优先的角度设计出一种混合存储格式吗？

课后作业

实现一个（分布式)key-value存储系统

要求:

基于本地文件系统实现，支持常用的put(k, v)、get(k, v)、scan_by_prefix(prefix)接口
支持存储server独立进程部署，支持跨进程或者网络访问
IO操作做到低时延
可选∶支持扩展成分布式架构，多台存储server组成一个分布式key-value存储系统，并保证全局的数据一致性

引用

[1] en.wikipedia.org/wiki/Memory…
[2] 《The Linux Programming Interface》Chapter 13 FILE I/O BUFFERING
[3] www.supportsages.com/ceph-part-3…
[4] db-engines.com/en/ranking
[5] spdk.io/

带你认识存储的本质 - 状态｜ 青训营笔记