这是我参与「第五届青训营」伴学笔记创作活动的第16天。
一、经典案例
潜在的问题
数据库怎么保证数据不丢?
数据库怎么处理多人同时修改的问题?
为什么用数据库，除了数据库还能存到别的存储系统吗?
数据库只能处理结构化数据吗?
有哪些操作数据库的方式，要用什么编程语言?
二、存储&数据库简介
1、存储系统
系统概览
一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
系统特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构，容易受硬件影响
- 存储系统代码，既"简单"又"复杂"
数据怎么从应用到存储介质
- 「缓存」很重要，贯穿整个存储体系
- 「拷贝」很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层
RAID 技术
Q：单机存储系统怎么做到高性能/高性价比/高可靠性？
A：R(edundant) A(rray)of I(nexpensive) D(isks)
RAID 出现的背景：
- 单块大容量磁盘的价格＞多块小容量磁盘
- 单块磁盘的写入性能＜多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
2、数据库系统
关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力
结构化数据友好
支持事务（ACID）
支持复杂查询语言
非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
半结构化数据友好
可能支持事务（ACID）
可能支持复杂查询语言
三、主流产品剖析
1、单机存储
概览
单机存储＝单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
Linux 经典哲学：一切皆文件
文件系统的管理单元：文件
文件系统接口：文件系统繁多，如Ext2/3/4,sysfs,rootfs等，但都遵循VFS的统一抽象接口
Linux 文件系统的两大数据结构：IndexNode&DirectoryEntry
IndexNode
记录文件元数据，如id、大小、权限、磁盘位置等，inode是一个文件的唯一标识，会被存储到磁盘上，inode 的总数在格式化文件系统时就固定了
DirectoryEntry
记录文件名、inode指针，层级关系（parent）等dentry是内存结构，与inode的关系是N:1(hardlink 的实现）
key-value存储
世间一切皆key-value
-- key是你身份证， value是你的内涵
常见使用方式：put(k,V)&get(k)
常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB
2、分布式存储
概览
分布式存储＝在单机存储基础上实现了分布式协议，涉及大量网络交互
HDFS
HDFS：堪称大数据时代的基石
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
Ceph
Ceph：开源分布式存储系统里的「万金油」
Ceph的核心特点：
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
3、单机关系型数据库
概览
单机数据库＝单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
商业产品Oracle称王，开源产品MySQL&PostgreSQL称霸
关系型数据库的通用组件：
- QueryEngine，负责解析query，生成查询计划
- TxnManager，负责事务并发管理
- LockManager，负责锁相关的策略
- StorageEngine，负责组织内存/磁盘数据结构
- Replication，负责主备同步
关键内存数据结构：B-Tree、B+-Tree、LRUList等
关键磁盘数据结构：WriteAheadLog(RedoLog)、Page
4、单机非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束后， schema相对灵活
不管是否关系型数据库。大家都在尝试支持SQL（子集）和“事务”
5、分布式数据库
- 解决容量问题
单点容量有限，受硬件限制
存储节点池化，动态扩缩容 - 解决弹性问题
- 解决性价比问题
四、新技术演进
概览
软件架构变更
- Bypass OS kernel
AI增强
- 智能存储格式转换
新硬件革命
- 存储介质变更
- 计算单元变更
- 网络硬件变更
新技术演进
SPDK AI&Storage 高性能硬件
- RDMA网络
- persistent memory
- 可编程交换机
- CPU/DPU/GPU
