一. 主流产品剖析
1.1单机存储
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互
举例：
- 本地文件系统
- key-value存储
1.1.1单机存储——本地文件系统
Linux经典哲学:一切皆文件
文件系统的管理单元:文件
文件系统接口:文件系统繁多，如Ext2/3/4, sysfs, rootfs等， 但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构: Index Node & Directory Entry
- Index Node
-
记录文件元数据，如id、 大小、权限、磁盘位置等
-
inode是一个文件的唯一标识， 会被存储到磁盘上
-
inode的总数在格式化文件系统时就固定了，不能扩容或缩容
- Directory Entry
-
记录文件名、inode指针，层级关系(parent)等
-
dentry是内存结构，与inode的关系是N:1(hardlink的实现)
1.1.2单机存储——key-value存储
世间一切皆key-value
key是你身份证，value是你的内涵
常见使用方式: put(k, v) & get(k)
常见数据结构: LSM-Tree,某种程度上牺牲读性能，追求写入性能
拳头产品: RocksDB
1.2分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
举例：
- 分布式文件系统
- 分布式对象存储
1.2.1分布式存储——HDFS
HDFS:堪称大数据时代的基石
时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
- HDFS核心特点:
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
1.2.1分布式存储——Ceph
Ceph :开源分布式存储系统里的「万金油」
- Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法：HASH +权重+随机抽签
1.3单机关系型数据库
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
举例：
- 关系型数据库
- 非关系型数据库
1.3.1单机关系型数据库
商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸
- 关系型数据库的通用组件:
- Query Engine——负责解析query,生成查询计划
- Txn Manager——负责事务并发管理
- Lock Manager——负责锁相关的策略
- Storage Engine——负责组织内存/磁盘数据结构
- Replication——负责主备同步 关键内存数据结构: B-Tree、B+-Tree、LRU List等 关键磁盘数据结构: WriteAheadLog (RedoLog) 、Page
1.3.2单机非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立 关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”
- Elasticsearch：
- 面向「文档」存储
- 文档可序列化成JSON,支持嵌套
- 存在「index」，index=文档的集合
- 存储和构建索引能力依赖Lucene引擎
- 实现了大量搜索数据结构&算法
- 支持RESTFUL API,也支持弱SQL交互
- MongoDB：
- 面向「文档」存储
- 文档可序列化成JSONBSON,支持嵌套
- 存在「ollection」，collection=文档的集合
- 存储和构建索引能力依赖wiredTiger引擎
- 4.0后开始支持事务(多文档、跨分片多文档等) 6.常用cient/SDK交互，可通过插件转译支持弱SQL
- Redis：
- 数据结构丰富(hash表、 set、 zset、 list)
- C语言实现，超高性能
- 主要基于内存，但支持AOF/RDB持久化
- 常用redis-di/多语言SDK交互
1.4分布式数据库
1.解决容量问题、弹性问题：
单点容量有限，受硬件限制->存储节点池化，动态扩缩容
2.解决问题：
- 单写->多写
- 磁盘弹性->内存弹性
- ->分布式事务优化
二. 个人感悟
1.分清存储和数据库的区别
2.多敲代码
