这是我参与「第五届青训营」伴学笔记创作活动的第 10 天

数据持久化存储的过程

数据的产生

在网站注册一个账号等操作会产生一个新的用户信息数据。

数据的流动

数据从用户的客户端，通过网络到达后端服务器，经过后端的处理后，存储到数据库中。

数据的持久化

后端服务器接收到数据后，先对数据进行校验，如校验用户数据是否存在，而后谱先写入内存中，用高效的数据结构组织数据，最后写入硬盘当中。

存储系统与数据库

概念

存储系统是一个提供读写和控制接口，可以安全有效把数据持久化的软件。

存储系统是后端的底座，是性能敏感的软件，受硬件影响大。

存储系统技术

存储的分层结构

由快到慢是处理器的寄存器、处理器缓存、内存、短期存储、中期存储、长期存储，这也是容量从小到大的顺序。从短期存储开始都是持久化存储。

RAID 技术

RAID 技术组合多块磁盘提高系统的可靠性和性价比。

RAID 0 可以提高磁盘带宽，但是没有容错设计。

RAID 1 是磁盘一对一镜像，容错能力强，但空间利用率低。

RAID 01 结合了RAID 0 和 RAID 1，同时有容错能力和高带宽的特点。

数据库

数据库是存储系统，除了存储能力还有其他能力。

数据库优势

和经典存储相比，数据库做到了结构化数据管理，具有事务能力和复杂查询能力。

主流数据库产品

单机存储

单机存储把文件存储在本地，使用key-value方式存储数据。

分布式存储

分布式存储实现了分布式协议，涉及网络交互。

新技术介绍

新软件架构

通过AI增强智能存储格式转换。

SPDK 是技术的演化方向，如从用户态访问磁盘，而非系统调用。从中断到CPU轮询，使用无锁数据结构等方法。

通过 AI 决策，实现行列混存的数据库结构。

硬件架构

高性能硬件有RDMA网络，非易失性内存，可编程交换机和高性能的CPU/GPU/DPU等。