这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天
本堂课重点
存储系统和数据库系统往往是后端服务的最后一环，提供数据存储、查询能力。本课程会先用模拟案例导入，向学员介绍存储系统、数据库系统的特点，然后解析多个主流产品，最后分享存储和数据库结合新技术演进的方向。本节课程主要包含以下内容：
- 模拟案例
- 存储 & 数据库简介
- 主流产品剖析
- 新技术演进
1.经典案例
一条数据从产生，到数据流动，最后持久化的全生命周期
通过一个模拟案例，描述了数据是怎么产生，在后端系统里怎么流通，最后怎么写入到存储/数据库系统。
1.1 数据的产生
某天，小明同学下载了一个新的 APP。因为第一次登陆，所以进入 APP 后需要注册一个新的账号
于是小明同学三下五除二地填好了资料，按下了「注册」按钮
就这样，数据就从无到有地产生了，并且在数十/数百毫秒内向 APP 的后端服务器飞奔而去
1.2 数据的流动
1.3 数据的持久化
1.4 潜在的问题
- 数据库怎么保证数据不丢？
- 数据库怎么处理多人同时修改的问题？
- 为什么用数据库，除了数据库还能存到别的存储系统吗？
- 数据库只能处理结构化数据吗？
- 有哪些操作数据库的方式，要用什么编程语言？
2.存储 & 数据库简介
数据库和存储系统背景知识，它们是什么，有哪些特点？
2.1 存储系统
Q: 什么是存储系统？
A: 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
2.1.1 存储系统-系统特点
2.1.2 存储系统-存储器层级结构
2.1.3 存储系统-数据怎么从应用到存储介质
- 「缓存」很重要，贯穿整个存储体系
- 「拷贝」很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层
2.1.4 存储系统-RAID技术
Q：单机存储系统怎么做到高性能/高性价比/高可靠性？
A: R (edundant) A (rray) of I (nexpensive) D (isks)
RAID 出现的背景：
- 单块大容量磁盘的价格 > 多块小容量磁盘
- 单块磁盘的写入性能 < 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
| RAID O | RAID 1 | RAID 0 +1 |
|---|---|---|
| 多块磁盘简单组合 | 一块磁盘对应一块额外镜像盘 | 结合了 RAID 0 和 RAID 1 |
| 数据条带化存储，提高磁盘带宽 | 真实空间利用率仅 50% | 真实空间利用率仅 50% |
| 没有额外的容错设计 | 容错能力强 | 容错能力强，写入带宽好 |
2.2 数据库
难道数据库和存储系统不一样吗？
数据库分为关系型数据库和非关系型数据库
2.2.1 数据库-概览
关系 (Relation) 又是什么？
Edgar.F.Codd于1970年提出**「关系模型」**
关系 = 集合 = 任意元素组成的若干有序偶对，反应了事物间的关系
关系代数 = 对关系作运算的抽象查询语言
- 交、并、笛卡尔积…
SQL = 一种 DSL = 方便人类阅读的关系代数表达形式
2.2.2 数据库-关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力
2.2.3 数据库-非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
2.3 数据库 VS 经典存储
2.3.1 结构化数据管理
2.3.2 事务能力
凸显出数据库支持「事务」的优越性
事务具有：
- A(tomicity),事务内的操作要么全做，要么不做
- c(onsistency)),事务执行前后，数据状态是一致的
- I(solation),可以隔离多个并发事务，避免影响
- D(urability),事务一旦提交成功，数据保证持久性
2.3.3 复杂查询能力
Q: 写入数据之后，想做很复杂的查询怎么办？ Example: 请查询出名字以 xiao 开头，且密码提示问题小于 10 个字的人，并按性别分组统计人数
2.4 数据库使用方式
3.主流产品剖析
主流的存储&数据库系统架构，经典产品剖析
3.1 单机存储产品
3.1.1 概览
3.1.2 本地文件系统
Linux 经典哲学：一皆文件
文件系统的管理单元：文件
文件系统接口：文件系统繁多，如 Ext2/3/4, sysfs , rootfs 等，但都遵循 VFS 的统一抽象接口
Linux 文件系统的两大数据结构：Index Node & Directory Entry
3.1.3 单机 key-value 存储
世间一切皆 key - value；key 是你身份证，vaue 是你的内涵 :)
常见使用方式：put(k,v) & get(k)
常见数据结构：LSM-Tree ,某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB
3.2 分布式存储
分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互
3.2.1 HDFS
HDFS : 堪称大数据时代的基石
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS 核心特点：
- 支持海量数据存储
- 高容错性
- 弱 POSIX 语义
- 使用普通 x86 服务器，性价比高
3.2.2 Ceph
Ceph : 开源分布式存储系统里的**「万金油」**
Ceph 的核心特点：
- 一套系统支持对象接口、块接口、文件接口但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用 CRSH 算法 ( HASH + 权重 + 随机抽签)
3.3 单机数据库
3.3.1 概览
单机数据库 = 单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
3.3.2 关系型数据库
商业产品 Oracle 称王，开源产品 SQL & PostgreSQL 称霸
3.3.3 非关系型数据库
MongoDB、Redis、**Elasticsearch 三足鼎立
- 关系型数据库一般直接使用 SQL 交互,而非关系型数据库交互方式各不相同
- 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema 相对灵活
- 不管是否关系型数据库，大家都在尝试支持 SQL(子集)和“事务”
3.3.4 Elasticsearch 使用案例
3.4 从单机到分布式数据库
单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决？
3.4.1 分布式数据库-解决容量问题
3.4.2 分布式数据库-解决弹性问题
3.4.3 分布式数据库一解决性价比问题
3.4.4 分布式数据库-More to Do
4.新技术演进
老系统结合新技术，如何持续演进走向新生？
4.1 新技术演进-概览
4.2 新技术演进-SPDK
4.3 新技术演进- AI & Storage
AI 领域相关技术，如 Machine Learning 在很多领域：如推荐、风控、视觉领域证明了有效性
4.4 新技术演进-高性能硬件
总结
存储系统
- 块存储：存储软件栈里的底层系统，接口过于朴素
- 文件存储：日常使用最广泛的存储系统，接口十分友好，实现五花八门
- 对象存储：公有云上的王牌产品，immutable 语义加持
- key-value 存储：形式最灵活，存在大量的开源/黑盒产品
数据库系统
- 关系型数据库：基于关系和关系代数构建的，一般支持事务和 SQL 访问，使用体验友好的存储产品
- 非关系型数据库：结构灵活，访问方式灵活，针对不同场景有不同的针对性产品
分布式架构
- 数据分布策略：决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能
- 数据复制协议：影响 IO 路径的性能、机器故障场景的处理方式
- 分布式事务算法：多个数据库节点协同保障一个事务的 ACID 特性的算法，通常基于 2pc 的思想设计
在存储 & 数据库领域，硬件反推软件变革十分常见
课后思考
- 写入存储系统的粒度太大，会不会导致数据原子性问题？例如一次性写100MB，如果系统突然crash，会不会只有一部分数据持久化了，另一部分丢失了？如果要解决原子性问题，一般会设计什么机制？
- 在从应用程序到存储介质的链路上，无论读还是写，数据可能要被拷贝好几次，这几次拷贝能不能去掉？如果我们去掉大部分拷贝操作，会有什么副作用，要怎么缓解副作用？
- 一个关系型数据库大概率是会被并发访问的，如果要保证并发安全，除了在行数据上加悲观锁还有其他方式吗？
- 在数据库领域，把数据按行存和按列存各有好处，你能从性能优先的角度设计出一种混合存储格式吗？
个人总结
- 通过案例描述数据的产生、流动、持久化，认识到存储的本质 - 状态
- 存储系统和数据库的原理、特点和作用
- 分析一些主流的数据库，逐步到分布式数据库
- 新技术的演进
