这是我参与[第五届青训营]伴学笔记创作活动的第7天
一、经典案例
1、数据的流动
客户端->后端服务器->数据库->其它系统
2、数据的持久性
校验数据的合法性->修改内存->写入存储介质
二、存储&数据库简介
1、存储系统的定义
一个提供了读写、控制类接口，能够安全有效地把数据持久化地软件，就可以称为存储系统
2、系统特点
作为后端软件地底座，性能敏感
存储系统代码，既”简单“又”复杂”
存储系统软件架构，容易受硬件影响
3、数据怎么从应用到存储介质
缓存很重要，贯穿整个存储体系
拷贝很昂贵，应该尽量减少（由于存储系统有多个分层，如果用拷贝的话，将占用大量的系统资源，降低存储系统的效率）
硬件五花八门，需要又抽象统一地接入层
RAID技术
出现背景：
单块大容量磁盘的价格>多块小容量磁盘
单块磁盘的写入性能<多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全
RAID 0
多块磁盘简单组合
数据条带存储，提高磁盘带宽
没有额外的容错设计
RAID 1
一块磁盘对应一块额外镜像盘
真实空间利用率仅50%
容错能力强
RAID 0 + 1
结合了RAID 0和RAID 1
真实空间利用率仅50%
容错能力强，写入带宽好
4、关系的定义
关系=集合=任意元素组成的若干有序偶对反应了事物间的关系
关系代数=对应关系作运算的抽象查询语言（交、并、笛卡尔积）
SQL=一种DSL=方便人类阅读的关系代数表达形式
5、关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其它能力，如：结构化数据友好、支持事务(ACID)、支持复杂查询语言
6、非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化，如：半结构化数据友好、可能支持事务(ACID)、可能支持复杂 查询语言
7、数据库VS经典存储——结构化数据管理
写入关系型数据库，以表形式管理
写入文件，自行定义，管理结构
8、数据库VS经典存储——事物能力
凸显出数据库支持【事务】的优越性
事务具体有的特点
A，tomicity，事务内的操作要么全做，要么不做
C，onsistency，事务执行前后，数据状态是一致的
I，solation，可以隔离多个并发事务，避免影响
D，urability，事务一旦提交成功，数据保证持久性
9、数据库VS经典存储——复杂查询能力
数据库：查询灵活、简单
经典存储：僵化、复杂
10、数据库使用方式（以SQL为例）
要操作数据时，支持以下操作
Insert
Update
Select
Delete
Where子句
GroupBy
OrderBy
要对数据定义做修改时，支持以下操作：
Create user
Create database
Create table
Alter table
三、主流产品剖析
1、单机存储
概览
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
文件系统的管理单元：文件
文件系统接口：文件繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一接口
Linux文件系统的两大数据结构：Index Node&Directory Entry
Index Node
记录文件元数据，如id、大小、权限、磁盘位置等。inode是一个文件的唯一标识，会被存储到磁盘上，inode的总数在格式化文件系 统时就固定了
Directory Entry
记录文件名、inode指针，层级关系(parent)等。dentry是内存结构，与inode的关系是N：1(hardlink的实现)
key-value存储
常见方式：put(k，v)&get(k)
常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB
2、分布式存储
概览
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
HDFS（堪称大数据时代的基石）
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：
支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高
Ceph
开源分布式存储系统里的[万金油]
Ceph的核心特点：
一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法（HASH+权重+随机抽签）
3、单机关系型数据库
概览
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能同通过网络交互实现分布式事务
关系型数据库
商业产品Oracle称王，开源产品MySQL&PostgreSQL称霸
关系型数据库的通用组件
Query Engine——负责解析query，生成查询计划
Txn Manager——负责事务并发管理
Lock Manager——负责锁相关的策略
Storage Engine——负责组织内存/磁盘数据结构
Replication——负责主备同步
关键内存数据结构：B-Tree、B+-Tree、LRU List等
关键磁盘数据结构：WriteAheadLog(RedoLog)、Page
4、单机非关系型数据库
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和"事务"
非关系型数据库产品
Elasticsearch
面向【文档】存储
文档可序化成JSON，支持嵌套
存在【index】，index=文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法（比如：支持模糊搜索，还能自动计算出关联程度）
支持RESTFUL API，也支持弱SQL交互
MongoDB
面向【文档】存储
文档可序化成JSON/BSON，支持嵌套
存在【collection】，collection=文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SQL
Redis
数据结构丰富（hash表、set、zset、list）
C语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cli/多语言SDK交互
5、分布式数据库
解决容量问题
单机数据库容量有限，受硬件限制；分布式数据库可存储节点池化，动态扩缩容
解决弹性问题
分布式数据库可以调整CPU数量，可以调整硬盘容量
解决性价比问题
分布式数据库通过池化技术，可以随时调整资源
四、新技术演进
1、概览
软件架构变更：Bypass OS kernel
AI增强：智能存储格式转换
新硬件革命：存储介质变更、计算单元变更、网络硬件变更
2、新技术演进——SPDK
Kernel->User Space
避免syscall带来的性能损耗，直接从用户态访问磁盘
中断->轮询
磁盘性能提高后，中断次数随之上升，不利于IO性能
SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能
无锁数据结构
使用Lock-free queue，降低并发时的同步开销
3、AI&Storage
在Storage领域，AI进行决策，使用行列混存，这是一个演进方向
4、高性能硬件
RDMA网络
传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但性能不是最佳
RDMA时kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少cpu开销
persistent Memory
在NVMe SSD和Main Memory间有一种全新的存储产品：Persistent Memory
IO时延介于SSD和Memory之间，约百纳秒量级
可以用作易失性内存，也可以用作持久化介质
可编程交换机
P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议
CPU/GPU/DPU
CPU：从multi-core走向many-core
GPU：强大的算力&越来越大的显存空间
DPU：异构计算，减轻CPU的workload
