主流存储产品 | 青训营笔记

65 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天

1.单机存储

单个计算机节点上的存储软件系统,一般不涉及网络交互,比如文件系统和key-value存储。

①文件系统:它的管理单元是文件。 比如在linux系统中,它的文件系统有两大数据结构: Index Node 和 Directory Entry。它们区别如下

Index Node: 记录文件元数据,如id、 大小、权限、磁盘位置等;inode是一个文件的唯一标识,会被存储到磁盘上;inode的总数在格式化文件系统时就固定了

Directory Entry: 记录文件名、inode指针, 层级关系(parent)等;dentry是内存结构,与inode的关 系是N:1(hardlink的实现)

②key-value

  • 常见使用方式: put(k, v) & get(k)
  • 常见数据结构: LSM-Tree, 某种程度上牺牲读性能,追求写入性能

2.分布式存储

在单机存储基础上实现了分布式协议,涉及大量网络交互,比如分布式文件系统和分布式对象存储

比如HDFS,Ceph ①HDFS核心特点:

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器,性价比高

②Ceph的核心特点:

  • 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法

3.单机数据库

单机数据库=单个计算机节点上的数据库系统。事务在单机内执行,也可能通过网络交互实现分布式事务。比如关系型数据库和非关系型数据库。

①关系型数据库

商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸

②非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

关系型数据库和非关系型数据库比较:

  • 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
  • 不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务’