这是我参与「第五届青训营」伴学笔记创作活动的第 15 天。
这节课主要讲述了与数据库和存储系统相关的知识。
存储系统
一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。
系统特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构，容易受硬件影响
- 存储系统代码，既“简单”又“复杂”
存储器层级结构
单机存储栈
- [缓存]很重要，贯穿整个存储体系
- [拷贝] 很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层
RAID技术
R(edundant) A(rray) of I(nexpensive) D(isks)
RAID出现的背景
- 单块大容量磁盘的价格 >多块小容量磁盘
- 单块磁盘的写入性能< 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
RAID 0
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强
RAID 0 + 1
- 结合了RAID 0 和 RAID 1
- 真实空间利用率仅50%
- 容错能力强，写入带宽好
数据库系统
数据库系统分为关系型数据库和非关系型数据库。
关系（Relation）是什么？
- Edgar.F.Codd于1970年提出关系模型
- 关系 = 集合 = 任意元素组成的若干有序偶对反应了事物间的关系
- 关系代数 =对关系作运算的抽象查询语言交、并、笛卡尔积...
- SQL = 一种DSL = 方便人类阅读的关系代数表达形式
关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力。
- 结构化数据友好
- 支持事务(ACID)
- 支持复杂查询语言
非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
- 半结构化数据友好
- 可能支持事务(ACID)
- 可能支持复杂查询语言
数据库优势
结构化数据管理：写入关系型数据库以表形式管理。
事务能力：
- A(tomicity)：事务内的操作要么全做，要么不做。
- C(onsistency)：事务执行前后，数据状态是一致的。
- l(solation)：可以隔离多个并发事务，避免影响。
D(urability)：事务一旦提交成功，数据保证持久性。
复杂查询能力
数据库使用方式
SQL
主流产品刨析
单机存储产品
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
- 单机文件系统
- 单机key-value存储
分布式存储产品
- HDFS
- Ceph
单机数据库产品
- 关系型数据库 —— PG、MySQL
- 非关系型数据库 —— ES、MongoDB、Redis
- Elasticsearch使用案例
分布式数据库产品
-
问题与挑战
-
解决方案
新技术演进
-
SPDK
-
人工智能
-
新硬件加速
