这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天
认识存储的本质-状态 | 青训营笔记
1. 存储系统——系统概览
-
什么是存储系统？ 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
-
存储系统——系统特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构，容易受硬件影响
- 存储系统代码，既“简单”又“复杂”
-
存储系统——数据怎么从应用到存储介质
- 缓存很重要，贯穿整个存储体系
- 拷贝很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层
-
存储系统——RAID技术 单机存储系统通过RAID技术做到高性能/高性价比/高可靠性。RAID即Redundant Array of Inexpensive Disks
RAID出现的背景：
- 单块大容量磁盘的价格 > 多块小容量磁盘
- 单块磁盘的写入性能 < 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
2. 数据库
-
关系型数据库的特点 关系型数据库是存储系统，但在存储之外，又发展出其他能力（结构化数据友好、支持事务、支持复杂查询语言）
-
非关系型数据库的特点 非关系型数据库也是存储系统，但一般不要求严格的结构化，对半结构化数据友好，可能支持事务，可能支持复杂查询语言
-
数据库 VS 经典存储
- 结构化数据管理
- 写入关系型数据库，以表的形式管理（数据库）
- 写入文件，自行定义管理结构（经典存储）
- 事务能力：数据库具有支持事务的优越性，事务具有：
- Atomicity：事务内的操作要么全做，要么不做
- Consistency：事务执行前后，数据状态是一致的
- Isolation：可以隔离多个并发事务，避免影响
- Durability：事务一旦提交成功，数据保持持久性
- 复杂查询能力：数据库有很强的复杂查询能力
- 结构化数据管理
3. 主流产品剖析
3.1 单机存储
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
-
本地文件系统
如Linux系统中的“一切皆文件”原则。文件系统的管理单元为文件；文件系统接口都遵循VFS的统一抽象接口；Linux文件系统的两大数据结构：Index Node & Directory Entry：
- Index Node：记录文件元数据，如id、大小、权限、磁盘位置等。inode是一个文件的唯一标识，会被存储到磁盘上。inode的总数在格式化文件系统时就固定了。
- Directory Entry：记录文件名、inode指针、层级关系等。dentry时内存结构，与inode的关系是N:1
-
key-value存储
3.2 分布式存储
分布式存储系统 = 在单机存储基础上实现了分布式协议，涉及大量网络交互
-
HDFS：堪称大数据时代的基石，其核心特点为：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
-
Ceph：开源分布式存储系统里的万金油，其核心特点为：
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
3.3 单机数据库
单机数据库 = 单个计算机节点上的数据库系统。事务在单机内执行，也可能通过网络交互实现分布式事务。
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同。非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活。不管是否关系型数据库，大家都在尝试支持SQL和“事务”。
3.4 分布式数据库
- 容量：单机系统单点容量受限，受硬件限制；分布式系统存储节点池化，动态扩缩容
- 弹性：池化动态扩缩容解决
- 性价比：池化动态扩缩容解决
