这是我参与「第三届青训营 -后端场」笔记创作活动的第1篇笔记
本文是我在上青训营课《带你认识存储 & 数据库》的过程中记的笔记 , 老师讲的很快 , 所以这里记的可能不是很详细
存储系统 & 数据库简介
存储系统
一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
系统特点
- 作为后段软件的底座,性能敏感
- 存储系统软件架构,容易受硬件影响
数据怎么从应用到存储介质
- 缓存很重要,贯穿整个存储体系
- 拷贝很昂贵,应该尽量减少
- 硬件设备五花八门,需要有抽象同一的接入层
RAID技术
Q：单机存储系统怎么做到高性能 / 高性价比 / 高可靠性？
A：R(edundant) A(rray) of I(nexpensive) D(isks)
RAID出现的背景：
- 单块大容量磁盘的价格 > 多块小容量磁盘
- 单块磁盘的写入性能 < 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
RAID 0
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强
RAID 0+1
- 结合了RAID 0 和 RAID 1
- 真实空间利用率仅50%
- 容错能力强，写入带宽好
数据库
关系型数据库是存储系统 , 但是在存储之外又发展出其他能力
- 结构化数据友好
- 支持事务(ACID)
- 支持复杂查询语言
非关系型数据库也是存储系统 , 但是一般不要求严格的结构化
- 半结构化数据友好
- 可能支持支持事务(ACID)
- 可能支持支持复杂查询语言
主流产品刨析
单机存储
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
文件系统的管理单元：文件
Linux文件系统的两大数据结构：Index Node & Directory Entry
- Index Node：记录文件元数据，如id、大小、权限、磁盘位置等，inode是一个文件的唯一标识，会被存储到磁盘上。inode的总数在格式化文件系统时就固定了
- Directory Entry：记录文件名、inode指针，层级关系(parent)等。dentry是内存结构，与inode的关系是N:1(hardlink的实现)
分布式存储
HDFS
HDFS核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
Ceph
Ceph的核心特点：
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
单机关系型数据库
Oracle，MySQL，PostgreSQL
关系型数据库的通用组件
Query Engine —— 负责解析query，生成查询计划
Txn Manager —— 负责事务并发管理
Lock Manager —— 负责锁相关的策略
Storage Engine —— 负责组织内存/磁盘数据结构
Replication —— 负责主备同步
关键内存数据结构
B-Tree、B+-Tree、LRU List等
关键磁盘数据结构
WriteAheadLog（RedoLog）、Page
单机非关系型数据库
Redis，MongoDB，Elasticsearch
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
