这是我参与「第三届青训营 -后端场」笔记创作活动的的第4篇笔记。 主要介绍存储和数据库的相关知识。
一 介绍
1.1 数据库的作用
1 把一些带有记忆性的数据持久化存储
2 校验数据的合法性
3 用高效的数据结构组织数据
4 以寿命&性能友好的方式写入硬件
1.2 一些问题
1 数据库怎么保证数据不丢？
2 数据库怎么处理多人同时修改的问题？
3 为什么用数据库，除了数据库还能用其他的存储系统么？
4 数据库只能存储结构化数据么？
5 有哪些操作数据库的方法？
二 存储&数据库简介
什么是存储系统？什么是数据库？
存储系统：存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备（硬件）和算法（软件）所组成的系统。
数据库：数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
2.1 存储系统
-
存储系统数据写入和读取链路上的特点 1 缓存很重要，贯穿整个存储体系 2 数据拷贝很昂贵，应该尽可能减少 3 硬件设备五花八门，需要有抽象统一的接入层
-
单机存储系统怎么做到高性能/高性价比/高可靠性？ 1 单块大容量磁盘的价格 > 多块小容量磁盘 2 单块磁盘的写入性能 < 多块磁盘的并发写入性能 3 单块磁盘的容错能力有限，不够安全
-
RAID技术
RAID 0
多块磁盘简单组合
数据条带化存储
没有额外的容错设计
RAID 1
一块磁盘对应一块额外镜像盘
真实空间利用率仅50%
容错能力强
RAID 0 + 1
结合了RAID 0 和RAID 1
真实空间利用率仅50%
容错能力强，写入带宽好
2.2 数据库
- 关系型数据库
关系是什么？
关系 = 集合 = 任意元素组成的若干有序偶对
反映了事物间的关系
关系代数：对关系做运算的抽象查询语言（交/并/笛卡尔积...）
SQL：方便人类阅读的关系代数表达形式
关系型数据库的额外能力
1 结构化数据友好
2 ACID特性
3 SQL语句
- 非关系型数据库
半结构化数据友好
可能支持事务
可能支持SQL
三 主流产品剖析
- 单机存储
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统/Key-Value存储
Linux文件系统：一切皆文件，两大数据结构Index Node/Directory Entry
Index Node：记录文件元数据，如id，大小，权限，磁盘位置等
inode是一个文件的唯一标识，会被保存到磁盘上
inode的总数在格式化文件系统时就确定了
Directory Entry：记录文件名，inode指针，层级关系等
dentry是内存结构，于inode的关系是 N:1 (hardlink的实现)
Key-Value存储：LSM-tree数据结构，一定程度牺牲读性能，追求写入性能
世间一切皆Key-Value，Key是你的身份证，Value是你的内涵
经典产品：RocksDB
- 分布式存储
分布式存储 = 在单机存储的基础上实现了分布式协议，涉及大量网络交互
分布式文件系统/分布式对象存储
HDFS
1 支持海量数据存储
2 高容错性
3 弱POSIX语义
4 使用普通x86服务器，性价比高
Ceph
一套系统支持对象接口，块接口，文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH(hash+权重+随机抽签)模型
- 单机数据库
单机数据库 = 单个计算机系统上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
关系型数据库
商业：Oracle
开源： MySQL/PostgreSQL
通用组件
Query Engine：负责解析SQL，生成查询计划
Txn Manager：负责事务并发管理
Lock Manager：负责锁相关的策略
Storage Engine：负责组织内存/磁盘数据结构
Replication：负责主备同步
关键内存数据结构
B Tree/B+Tree/LRU List
关键磁盘数据结构
RedoLog/Page
非关系型数据库
MongoDB/Redis/Elasticsearch
- 分布式数据库
单机数据库存在的问题？
容量/弹性/性价比
单点容量有限，受硬件限制 -> 存储节点池化，动态扩缩容，扩缩容不需要关心容量问题
容量不够，使用高规格机器 -> 使用共享存储池，不需要扩CPU
More to do
1 单写 -> 多写
2 磁盘弹性 -> 内存弹性
3 分布式事务优化
四 总结
- 存储系统
块存储：存储软件栈里的底层系统，接口朴素
文件存储：日常使用最广泛的存储系统，接口友好，实现五花八门
对象存储：公有云上的王牌产品，immutable语义加持
Key-Value存储：形式最灵活，存在大量的开源/黑盒产品
- 数据库系统
关系型数据库：基于关系和关系代数构建的，一般支持事务和SQL，使用体验友好
非关系型数据库：结构灵活，访问方式灵活，针对不同场景有不同的产品
- 分布式架构
数据分布策略：决定了数据怎么分布到集群里的多个物理节点，是否均匀，能否做到高性能
数据复制协议：影响IO路径的性能，机器故障场景的处理方式
分布式事务：多个数据库节点协同保障一个事务ACID特性的算法，通常基于二阶段提交协议的思想设计
