这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天
1.单机存储
单个计算机节点上的存储软件系统,一般不涉及网络交互,比如文件系统和key-value存储。
①文件系统:它的管理单元是文件。 比如在linux系统中,它的文件系统有两大数据结构: Index Node 和 Directory Entry。它们区别如下
Index Node: 记录文件元数据,如id、 大小、权限、磁盘位置等;inode是一个文件的唯一标识,会被存储到磁盘上;inode的总数在格式化文件系统时就固定了
Directory Entry: 记录文件名、inode指针, 层级关系(parent)等;dentry是内存结构,与inode的关 系是N:1(hardlink的实现)
②key-value
- 常见使用方式: put(k, v) & get(k)
- 常见数据结构: LSM-Tree, 某种程度上牺牲读性能,追求写入性能
2.分布式存储
在单机存储基础上实现了分布式协议,涉及大量网络交互,比如分布式文件系统和分布式对象存储
比如HDFS,Ceph ①HDFS核心特点:
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器,性价比高
②Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
3.单机数据库
单机数据库=单个计算机节点上的数据库系统。事务在单机内执行,也可能通过网络交互实现分布式事务。比如关系型数据库和非关系型数据库。
①关系型数据库
商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸
②非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库和非关系型数据库比较:
- 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
- 非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
- 不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务’