这是我参与「第五届青训营 」笔记创作活动的第16天

这篇文章主要从数据库和存储系统背景知识，主流的存储&数据库系统框架，经典产品剖析几个方面来进行介绍和总结。

1.存储&数据库简介

1.1 存储系统

所谓存储系统，即：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

• 存储系统的特点：作为后端软件的底座，性能敏感；存储系统软件架构，容易受硬件影响；存储系统代码，既“简单”又“复杂”

对于存储系统，它的缓存很重要，贯穿整个存储体系；拷贝相对比较昂贵，应该尽量减少；硬件设备五花八门，需要具有抽象统一的接入层

存储系统的高性能、高性价比、高可靠性

• 单块大容量磁盘的价格>多块小容量磁盘：多块磁盘简单组合、数据条带化存储，提高磁盘宽带；没有额外的容错设计

• 单块磁盘的写入性能<多块磁盘的并发写入性能:一块磁盘对应一块额外镜像盘；真实空间利用率仅50%；容错能力强

• 单块磁盘的容错能力有限，不够安全：结合了RAID 0和RAID 1；真实空间利用率仅50%；容错能力强、写入宽带好

1.2 数据库

数据库分为两种类型：关系型数据库、非关系型数据库

• 关系 = 集合 = 任意元素组成的若干有序偶对反映了事物间的关系

• 关系代数 = 对关系作运算的抽象查询语言：交、并、笛卡尔积......

• SQL = 一种DSL = 方便人类阅读的关系代数表达形式

关系型数据库特点：关系型数据库是存储系统，但是在存储之外，又发展出其他能力，即：结构化数据友好、支持事务(ACID)、支持复杂查询语言

非关系型数据库也是存储系统，但是一般不要求严格的结构化，即：半结构化数据友好、可能支持事务(ACID)、可能支持复杂查询语言

数据库与经典存储在事务能力上的突出优越性：

• A(tomicity).事务内的操作要么全做，要么不做

• C(onsistency).事务执行前后，数据状态是一致的

• I(solation).可以隔离多个并发事务，避免影响

• D(urability).事务一旦提交成功，数据保证持久性

2.主流产品剖析

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

2.1 本地文件系统

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如Ext2/3/4，sysfs,rootfs等，但都遵循VFS的统一抽象接口

Linux文件系统的两大数据结构：lndex Node & Directory Entry

• Index Node:

  • 记录文件元数据，如id、大小、权限、磁盘位置等

  • inode是一个文件的唯一标识，会被存储到磁盘上

  • inode的总数在格式化文件系统时就固定了

• Directory Entry:

  • 记录文件名、inode指针、层级关系(parent)等

  • dentry是内存结构，与inode的关系是N：1(hardlink的实现)

2.2 分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互：分布式文件系统、分布式对象存储

HDFS：堪称大数据时代的基石。背景为：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HDFS核心特点：

• 支持海量数据存储、高容错性、弱POSIX语义、使用普通x86服务器，性价比高

• Ceph:开源分布式存储系统里的万金油

Ceph核心特点：

• 一套系统支持对象接口、块接口、文件接口，但是一切皆对象

• 数据写入采用主备复制模型

• 数据分布模型采用CRUSH算法 = HASH + 权重 + 随机抽签

2.3 单机数据库

关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同

非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活

3.总结

本篇文章从概念定义以及数据库的关系等方面进行了对比，可以帮助我们更好的理解存储和数据库的一个关系，方便日后的学习。

4.引用

本篇文章的内容主要来自于字节内部课程。