认识存储和数据库
一、经典案例
1、数据的流动
客户端->后端服务器->数据库->其它系统
2、数据的持久性
校验数据的合法性->修改内存->写入存储介质
二、存储&数据库简介
1、存储系统的定义
一个提供了读写、控制类接口，能够安全有效地把数据持久化地软件，就可以称为存储系统
2、系统特点
作为后端软件地底座，性能敏感
存储系统代码，既”简单“又”复杂”
存储系统软件架构，容易受硬件影响
3、数据怎么从应用到存储介质
缓存很重要，贯穿整个存储体系
拷贝很昂贵，应该尽量减少（由于存储系统有多个分层，如果用拷贝的话，将占用大量的系统资源，降低存储系统的效率）
硬件五花八门，需要又抽象统一地接入层
RAID技术
出现背景：
单块大容量磁盘的价格>多块小容量磁盘
单块磁盘的写入性能<多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全
4、关系的定义
关系=集合=任意元素组成的若干有序偶对反应了事物间的关系
关系代数=对应关系作运算的抽象查询语言（交、并、笛卡尔积）
SQL=一种DSL=方便人类阅读的关系代数表达形式
5、关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其它能力，如：结构化数据友好、支持事务(ACID)、支持复杂查询语言
6、非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化，如：半结构化数据友好、可能支持事务(ACID)、可能支持复杂 查询语言
7、数据库VS经典存储——结构化数据管理
写入关系型数据库，以表形式管理
写入文件，自行定义，管理结构
8、数据库VS经典存储——事物能力
凸显出数据库支持【事务】的优越性
事务具体有的特点
A，tomicity，事务内的操作要么全做，要么不做
C，onsistency，事务执行前后，数据状态是一致的
I，solation，可以隔离多个并发事务，避免影响
D，urability，事务一旦提交成功，数据保证持久性
9、数据库VS经典存储——复杂查询能力
数据库：查询灵活、简单
经典存储：僵化、复杂
三、主流产品剖析
1、单机存储
概览
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
文件系统的管理单元：文件
文件系统接口：文件繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一接口
Linux文件系统的两大数据结构：Index Node&Directory Entry
Index Node
Directory Entry
key-value存储
2、分布式存储
概览
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
HDFS（堪称大数据时代的基石）
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：
支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高
Ceph
开源分布式存储系统里的[万金油]
Ceph的核心特点：
一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法（HASH+权重+随机抽签）
3、单机关系型数据库
概览
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能同通过网络交互实现分布式事务
关系型数据库
商业产品Oracle称王，开源产品MySQL&PostgreSQL称霸
4、单机非关系型数据库
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和"事务"
非关系型数据库产品
Elasticsearch
面向【文档】存储
文档可序化成JSON，支持嵌套
存在【index】，index=文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法（比如：支持模糊搜索，还能自动计算出关联程度）
支持RESTFUL API，也支持弱SQL交互
MongoDB
面向【文档】存储
文档可序化成JSON/BSON，支持嵌套
存在【collection】，collection=文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SQL
Redis
数据结构丰富（hash表、set、zset、list）
C语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cli/多语言SDK交互
5、分布式数据库
解决容量问题
单机数据库容量有限，受硬件限制；分布式数据库可存储节点池化，动态扩缩容
解决弹性问题
分布式数据库可以调整CPU数量，可以调整硬盘容量
解决性价比问题
分布式数据库通过池化技术，可以随时调整资源
四、新技术演进
1、概览
软件架构变更：Bypass OS kernel
AI增强：智能存储格式转换
新硬件革命：存储介质变更、计算单元变更、网络硬件变更
2、新技术演进——SPDK
Kernel->User Space
避免syscall带来的性能损耗，直接从用户态访问磁盘
中断->轮询
磁盘性能提高后，中断次数随之上升，不利于IO性能
SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能
无锁数据结构
使用Lock-free queue，降低并发时的同步开销
3、AI&Storage
在Storage领域，AI进行决策，使用行列混存，这是一个演进方向
4、高性能硬件
RDMA网络、persistent Memory、可编程交换机、CPU/GPU/DPU
