这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

存储与数据库简介

存储系统就是一个提供读写、控制类接口，能够安全有效地把数据持久化的软件。
存储系统的特点：

• 作为后端软件的底座，性能敏感
• 存储系统软件架构，容易受到硬件影响
• 存储系统代码，既“简单”又“复杂”
  

存储器层级结构：

RAID技术

RAID出现的背景：

• 单块大容量磁盘的价格大于多块小容量磁盘
• 单块磁盘的写入性能小于多块磁盘的并发写入性能
• 单块磁盘的容错能力有限，不够安全

数据库简介

Edgar.F.Codd于1970年提出关系模型。
关系=集合=任意元素组成的若干有序偶对反应了事物间的关系。
关系代数=对关系作运算的抽象查询语言，如并、交、差、笛卡尔积。
SQL=一种DSL=方便人类阅读的关系代数表达形式。
关系型数据库是存储系统，但在存储系统之外，又发展出其他能力，如结构化数据友好、支持事务、支持复杂查询语言。
非关系型数据库也是存储系统，但是一般不要求严格的结构化，其半结构化数据友好、可能支持事务、可能支持复杂的查询语言。
事务特性：

• 原子性：事务内的操作要么全做，要么不做
• 一致性：事务执行前后，数据状态是一致的
• 隔离性：可以隔离多个并发事务，避免影响
• 持久性：事务一旦提交成功，数据保持持久性

主流产品剖析

单机存储：单个计算机节点上的存储软件系统，一般不涉及网络交互。

分布式存储：在单机存储基础上实现了分布式协议，涉及大量网络交互。
HDFS，堪称大数据时代的基石，核心特点：

• 支持海量数据存储
• 高容错性
• 弱POSIX语义
• 使用普通x86服务器，性价比高
  

单机关系型数据库：

• 商业产品Oracle称王，开源产品MySQL和PostgreSQL称霸。
• 关系型数据库的通用组件：
  • Query Engine： 负责解析query，生成查询计划
  • Txn Manager： 负责事务并发管理
  • Lock Manager： 负责锁相关的策略
  • Storage Engine： 负责组织内存/磁盘数据结构
  • Replication： 负责主备同步
  • 关键内存数据结构：B树、B+树、LRU列表等
  • 关键磁盘数据结构：WriteAheadLog、Page
    

单机非关系型数据库：

• MongoDB、Redis、Elasticsearch三足鼎立
• 关系型数据库一般直接使用SQL交互，而非关系数据库交互方式各不相同
• 非关系型数据库的数据结构千奇百怪，没有关系的约束后，schema相对灵活
• 不管是否关系型数据库，大家都在尝试支持SQL和事务。

参考

‍​⁡⁢⁣⁢‬​‬⁤​⁣⁡⁢​⁡‬‍⁡‍‍⁡⁣⁤⁢⁢​​​⁣⁡‍‬‍‬⁤⁣⁤‌⁣‌⁤带你认识存储 & 数据库 .pptx - 飞书云文档 (feishu.cn)