这是我参与「第五届青训营」伴学笔记创作活动的第 13 天
对课程中学到的重要知识点做了笔记，方便后续的回顾

3 主流产品剖析

3.1 单机存储产品

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

3.1.1 单机文件系统

Linux经典哲学:一切皆文件
文件系统的管理单元:文件
文件系统接口(VFS):文件系统繁多，如Ext2/3/4,sysfs，rootfs等，但都遵循VFS的统―抽象接口
Linux文件系统的两大数据结构: Index Node & Directory Entry

3.1.1.1 Index Node

记录文件元数据．如id、大小、权限、磁盘位置等inode是一个文件的唯一标识．会被存储到磁盘上inode的总数在格式化文件系统时就固定了
文件的全局唯一标识
每个系统的inode个数是固定的
会持久化到磁盘上

3.1.1.2 Directory Entry

记录文件名、inode指，层级关系(parent)等
dentry是内存结构．与inode的关系是N:1(hardlink的实现)
硬链接
不会持久化到磁盘上

3.1.2 单机key-value存储

世间一切皆key-value——key是你身份证，value是你的内涵
常见使用方式:put(k,v)& get(k)
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品: RocksDB
不推荐源码
HDD向SDD转变的时代
一直都是顺序写入

3.2 分布式存储产品

分布式存储=在单机存储基础上实现了分布式协议,涉及大量网络交互

3.2.1 HDFS,分布式文件系统

HDFS:堪称大数据时代的基石
时代背景:专用的高级硬件很贲，同时数据存量很大，要求超高吞吐
HDFS核心特点:

支持海量数据存储
高容错性
弱POSIX语义、
使用普通x86服务器，性价比高高容错性，因为用了很垃圾的硬件

3.2.2 Ceph 开源分布式存储系统里的「万金油」

可以看一看他的源码
Ceph的核心特点:

一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法
CRUSH算法：HASH+权重＋随机抽签

3.3 单机数据库产品

单机数据库=单个计算机节点上的数据库系统事务在单机内执行，也可能通过网络交互实现分布式事务

3.3.1 关系型数据库 —— PG、MySQL

商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸

关系型数据库的通用组件:

Query Engine——负责解析query，生成查询计划
Txn Manager——负责事务并发管理
Lock Manager——负责锁相关的策略
Storage Engine——负责组织内存/磁盘数据结构
Replication——负责主备同步

关键内存数据结构:B-Tree、B+-Tree、LRU List等
关键磁盘数据结构: WriteAheadLog (RedoLog) . Page

3.3.2 非关系型数据库 —— ES、MongoDB、Redis

MongoDB、Redis、Elasticsearch三足鼎立

关系型数据库—般直接使用SQL交互,而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活
不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务"

3.3.2.1 Elasticsearch

面向「文档」存储
文裆可序列化成JSON，支持嵌套
存在「index] . index =文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法
支持RESTFUL.API，也支持弱SQL交互

3.3.2.2 MongoDB

面向「文档」存储
文档可序列化成JSON/BSON，支持嵌套
存在「collection] . collection =文档的集合
存储和构建索引能力依赖wiredTiger引擎，（wiredTiger引擎，纯C写的）
4.0后开始支持事务(多文档、跨分片多文档等)
常用client/sDK交互，可通过插件转译支持弱SQL

3.3.2.3 Redis

数据结构丰富(hash表、 set、zset、 list)
C语言实现.超高性能
主要基于内存.但支持AOF/RDB持久化
常用redis-cli/多语言5DK交互

3.3.3 Elasticsearch使用案例

和RDBMS相比，ES天然能做模糊搜索，还能自动算出关联程度

3.4 分布式数据库产品

3.4.1 单机数据库为什么要引入分布式架构来解决?

解决容量问题
- 单点容量有限，受硬件限制
- 存储节点池化,动态扩缩容
解决弹性问题
解决性价比问题

3.4.2 More to Do

单写vs多写
从磁盘弹性到内存弹性
分布式事务优化

4. 解决方案

4.1 SPDK

4.2 人工智能

智能存储格式转换：行列混存

4.3 新硬件加速

RDMA网络

传统的网络协议枝，需要基于多层网络协议处理数抿包，存在用户态&内核态的切换,足够通用但性能不是最佳
不经过传统的网络协议模，可以把用户态虚拟内存映射给网卡，减少拷贝开销、减少cpu开销

Persistent Memory 在NVMa SSD和Main Mamory问有一种全新的存储产品:

Porzistont Momory-IO时延介于SSD和Momory之间。约百纳秒量级
可以用作易失性内存(memory mode)。也可以用作持久化介质、

可编程交换机 P4 Switch,配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等
CPU/GPU/DPU

GPU:强大的算力&越来越大的显存空问
CPU:从multi-coro走向many-coro
DPU:异构计算,减轻CPU的工作负担

课后个人总结

了解了现在主流的存储产品
了解了下在存储这块未来的发展方向

参考资料

带你认识存储的本质

带你认识存储的本质下 ｜ 青训营笔记