这是我参与「第五届青训营」伴学笔记创作活动的第17天

1.存储&数据库简介

1.1存储系统

1.1.1系统概览

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

1.1.2系统特点

作为后端软件的底座，性能敏感
存储系统软件架构，容易受硬件影响
存储系统代码，既“简单”又“复杂”

1.1.3RAID技术

R(edundant) A(rray) of I(nexpensive) D(isks)

RAID出现的背景

单块大容量磁盘的价格 > 多块小容量磁盘
单块磁盘的写入性能 < 多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全

RAID 0

多块磁盘简单组合
数据条带化存储，提高磁盘带宽
没有额外的容错设计

RAID 1

一块磁盘对应一块额外镜像盘
真实空间利用率仅50%
容错能力强

RAID 0+1

结合了RAID 0 和RAID 1
真实空间利用率仅50%
容错能力强，写入带宽好

1.2数据库

1.2.1关系型数据库

关系型数据库是存储系统，但是在存储之外，又发展出其他能力
结构化数据友好
支持事务（ACID）
支持复杂查询语句

1.2.2非关系型数据库

非关系型数据库也是存储系统，但是一般不要求严格的结构化
半结构化数据友好
可能支持事务（ACID）
可能支持复杂查询语言

1.2.3数据库支持事务的优越性

事务具有：

原子性：A(tomicity)，事务内的操作要么全做，要么不做
一致性：C(onsistency)，事务执行前后，数据状态是一致的
隔离性：I(solation).可以隔离多个并发事务，避免影响
持久性：D(urability)，事务一旦提交成功，数据保证持久性

2.主流产品剖析

2.1单机存储

2.1单机存储-概念

单机存储是单个计算机节点上的存储软件系统，一般不涉及网络交互

本地文件系统
key-value存储

2.2本地文件系统

Linux经典哲学:一切皆文件
文件系统的管理单元:文件
文件系统接口:文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构:Index Node & Directory Entry
Index Node：记录文件元数据，如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了
Directory Entry：记录文件名、inode指针，层级关系(parent)等，dentry是内存结构，与inode的关系是N:1(hardlink的实现）

2.3key-value存储

世间一切皆key-value
key是你身份证，value是你的内涵
常见使用方式: put(k, v) & get(k)
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品:RocksDB

2.2分布式存储

2.2.1概念

分布式存储是在单机存储基础上实现了分布式协议，涉及大量网络交互

2.2.2分布式文件系统-HDFS

HDFS:堪称大数据时代的基石

时代背景

专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HDFS核心特点

支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高

ceph

Ceph:开源分布式存储系统里的万金油

Ceph的核心特点

一套系统支持对象接口、块接口、文件接口但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法（HASH+权重+随机抽签）

2.3单机数据库

单机数据库是单个计算机节点上的数据库系统事务在单机内执行，也可能通过网络交互实现分布式事务

2.3.1关系型数据库

商业产品Oracle称王，开源产品MySQL和PostgreSQL称霸

关系型数据库的通用组件

Query Engine：负责解析query，生成查询计划
Txn Manager：负责事务并发管理
Lock Manager：负责锁相关的策略
Storage Engine：负责组织内存/磁盘数据结构
Replication ：负责主备同步

关键内存数据结构:B-Tree、B+-Tree、LRU List等

关键磁盘数据结构: WriteAheadLog (RedoLog) 、Page

2.3.2非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SOL交互而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪没有关系约束后，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和事务

Elasticsearch特点

面向文档存储
文档可序列化成JSON，支持嵌套
存在index，index=文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法
支持RESTFUL API，也支持弱SOL交互

MongoDB特点

面向文档存储文档
可序列化成JSON/BSON，支持嵌套
存在collection，collection=文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SOL

Redis特点

教据结构丰言(hash表、set、zset、list)
C语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cv多语言SDK交互

2.4单机数据库到分布式数据库

2.4.1单机数据库的问题和挑战

容量（单点容量有限、受硬件限制）
弹性
性价比

2.4.2解决问题

解决容量、弹性、性价比问题

存储节点池化，动态扩缩容

3.新技术演进

3.1概览

软件架构变更（Bypass OS kernel）
AI增强（智能存储格式转换）
新硬件革命（存储介质变更、计算单元变更、网络硬件变更）

3.2高性能硬件

RDMA网络

传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但性能不是最佳 RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少持贝开销，减少CPU开销

Persistent Memory

在NVMe SSD和Main Memory间有一种全新的存储产品:Persistent Memory
IO时延介于SSD和Memory之间，约百纳秒量级
可以用作易失性内存 (memory made)，也可以用作持久化介质 (app-direct)

可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

CPU/GPU

CPU:从multi-core走向many-coreGPU: 强大的算力&越来越大的显存空间DPU:异构计算，减轻CPU的workload
CPU:从multi-core走向many-coreGPU
GPU: 强大的算力&越来越大的显存空间
DPU: 异构计算，减轻CPU的workload

存储本质|青训营笔记