这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天
一、本堂课重点内容
- 存储 & 数据库简介
- 主流产品剖析
- 新技术演进
二、详细知识点介绍
存储&数据库简介
存储系统
定义
一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件就可以称为存储系统
特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构,容易受硬件影响
- 存储系统代码,既“简单"又“复杂”
存储器层级结构
数据从应用到存储介质
- 「缓存」很重要，贯穿整个存储体系
- 「拷贝」很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接
RAID技术
- RAID 0
- 多块磁盘简单组合
- 数据条带化存储,提高磁盘带宽
- 没有额外的容错设计
- RAID 1
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强
- RAID 0+1
- 结合了RAID 0和 RAID 1
- 真实空间利用率仅50%
- 容错能力强,写入带宽好
数据库
定义
关系型数据库，是指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。
特点
- 结构化数据友好
- 支持事务(ACID)
- 支持复杂查询语言
优越性
事务
- A(tomicity)，事务内的操作要么全做，要么不做
- C(onsistency)，事务执行前后，数据状态是一致的
- I(solation)，可以隔离多个并发事务，避免影响
- D(urability)，事务一旦提交成功,数据保证持久性
结构化数据管理
复杂查询能力
主流产品分析
单机存储
定义
单机存储=单个计算机节点上的存储软件系统,一般不涉及网络交互
本地文件系统
- 文件系统的管理单元:文件
- 文件系统接口:文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
- Linux文件系统的两大数据结构: Index Node & Directory Entry
key-value存储
- 常见使用方式: put(k, v) & get(k)
- 常见数据结构: LSM-Tree，某种程度上牺牲读性能，追求写入性能
- 拳头产品: RocksDB
分布式存储
定义
分布式存储=在单机存储基础上实现了分布式协议涉及大量网络交互
HDFS
核心特点
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
Ceph
核心特点
- 一套系统支持对象接口、块接口、文件接口但是一切皆对象
- 数据写入采用主备复制模型数据分布模型
- 采用CRUSH算法
单机数据库
定义
- 单机数据库=单个计算机节点上的数据库系统
- 事务在单机内执行，也可能通过网络交互实现分布式事务
关系型数据库
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
- 关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
- 非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
Elasticsearch案例
跟RDBMS相比，ES天然能做模糊搜索，还能自动算出相关程度
分布式数据库
优势
使用存储节点池化，动态扩缩容等方法解决了容量、弹性、性价比三大问题。
展望
- 单写vs多写
- 从磁盘弹性到内存弹性
- 分布式事务优化
新技术演进
概览
- 软件架构变更
- Bypass os kernel
- AI增强
- 智能存储格式转换
- 新硬件革命
- 存储介质变更
- 计算单元变更
- 网络硬件变更
SPDK
Kernel Space -> User Space
- 避免syscall带来的性能损耗,直接从用户态访问磁盘
中断->轮询
- 磁盘性能提高后，中断次数随之上升,不利于IO性能
- SPDK poller可以绑定特定的cpu核不断轮询,减少cs，提高性能
无锁数据结构
- 使用Lock-free queue，降低并发时的同步开销
AI&Storage
从行存列存演进到AI决策的行列混存
高性能硬件
- RDMA网络
- Persistent Memory
- 可编程交换机
- CPU/GPU/DPU
三、实践练习例子
分布式key-value存储系统
要求：
- 基于本地文件系统实现，支持常用的put(k, v)、get(k,v)、scan_by_prefix(prefix)接口支持存储server独立进程部署，支持跨进程或者网络访问
- IO操作做到低时延
- 可选:支持扩展成分布式架构，多台存储server组成一个分布式key-value存储系统，并保证全局的数据一致性
四、课后个人总结
数据库是后端开发过程中非常重要的一部分，是数据的载体，掌握好存储和数据库相关知识至关重要。尤其是关系与非关系型数据库、分布式存储、分布式数据库的相关知识还需自己多加学习，争取能够完成作业key-value存储系统。
