这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天
1.主要内容
- 数据的生命周期
- 存储系统&数据库简介
- 新技术的演进
2.详细内容
数据的周期
- 数据的产生：下载一个新的app，进行注册
- 数据的流动：一条用户注册数据，经由网络发送至后端服务器
- 数据的持久化：校验数据的合法性 - 修改内存 - 写入存储介质
潜在的问题
- 数据不丢
- 多人同时修改
- 数据库外还有其他系统么
- 数据库只能处理结构化数据么
- 数据库的操作方式
存储系统简介
概览
什么是存储系统？
- 一个提供了读写、控制类接口，能够安全有效的把数据持久化的软件，就可以称之为存储系统
特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构，容易受硬件影响
- 存储系统代码，既简单又复杂
数据怎么从应用到存储介质
- 缓存很重要，贯穿整个存储体系，一般都是先写入缓存再持久化
- 拷贝这一操作会占用大量的资源，应该尽量减少拷贝操作
- 硬件设备五花八门，需要有抽象统一的接入层
RAID技术
单机存储系统想要做到高性能/高性价比/高可靠性需要使用RAID系统，Redundant Arrays of Independent Disks
背景
- 单块大容量磁盘的价格 > 多块小容量磁盘
- 单块磁盘的写入性能 < 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
名词
RAID 0
- 多块磁盘简单组合
- 数据带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像磁盘
- 真实空间利用率仅50%
- 容错能力强
RAID 0 + 1
- 结合前两者
- 真实空间利用率仅50%
- 容错能力强，写入带宽好
数据库简介
概览
数据库分为关系型数据库和非关系型数据库
关系型数据库
关系 = 集合 = 任意元素组成的若干有序偶对，反映了事物间的关系
关系代数 = 对关系做运算的抽象查询语言（交、并、笛卡尔积）
SQL = 一种DSL = 方便人类进行阅读的关系代数表达式
关系型数据库是一种存储系统，在存储之外，还有其他的能力
- 结构化数据友好
- 支持事务（ACID）
- 支持复杂查询语言
非关系型数据库
非关系型数据库也是存储系统，但是一般不要求严格的结构化
- 半结构化数据友好
- 可能支持事务（ACID）
- 可能支持复杂查询语言
数据库 VS 经典存储
- 一条用户数据，数据库以表形式管理；文件要自行定义管理结构
- 数据库可以支持事务
- 数据库拥有复杂查询能力
新技术演进
SPDK
SPDK Storage Performance Development Kit 存储性能开发套件 —— 针对于支持nvme协议的SSD设备。 SPDK是一种高性能的解决方案
- 将所有必要的驱动程序移动到用户空间，从而避免 syscalls，并允许从应用程序中访问零拷贝。
- 对硬件进行完成轮询，而不是依赖中断，这降低了总延迟和延迟方差。
- 避免 I/O 路径中的所有锁，而是依靠消息传递。
AI
利用AI决策，实现行列混存
高性能硬件
- RDMA网络 ： 用户虚拟内存映射给网卡，减少CPU、拷贝开销
- Persistent Memory ： 全新存储产品
- 可编程交换机
- CPU/GPU/DPU
3.主流产品分析
单机存储
单个计算机节点上存储软件系统，一般没有网络交互
本地文件系统
Linux经典哲学：一切皆文件
- Index Node ：是一个文件的唯一标识，记录文件元数据
- Directory Entry ： 记录文件名、inode指针、层级关系等
Key - value 存储
- key是身份，value是内涵
分布式存储
单机存储基础上实现了分布式协议，涉及大量网络交互
HDFS
大数据时代的基石
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通X86服务器，解决专用高级硬件成本问题，性价比很高
Ceph
开源分布式存储系统中的万金油
- 一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
单机数据库
单个计算机节点上的数据库系统，事务在单机内执行
- 关系型数据库 ：商业Oracle，开源MySQL和PostgreSQL
- 非关系型数据库 ： ES、MongoDB、Redis
分布式数据库
- 单点容量有限，受硬件限制，解决容量问题需要分布式数据库
- 解决弹性问题
- 解决性价比问题
4.课后总结
- 在存储和数据库领域，硬件反推软件革新非常常见
- 新技术革新很快
- 大数据领域存储和数据库是重要部分
5.引用
字节内部课：带你认识存储&数据库
稀土掘金-后端学习资料
