存储
1.1 存储系统
(1)什么是存储系统:一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统
(2)层级结构
单块大容量磁盘的价格 > 多块小容量磁盘
单块磁盘的写入性能 < 多块磁盘的并发写入性能
(3)特点:
作为后端软件的底座,性能敏感 存储系统软件架构,容易受硬件影响 存储系统代码,既“简单"又“复杂”
1.2 数据库系统
数据库分为关系型数据库和非关系型数据库。
(1)关系型数据库是存储系统,但是在存储之外,又发展出其他能力:
(2)非关系型数据库也是存储系统,但是一般不要求严格的结构化
1.3 存储系统与数据库系统对比
1.3.1 事务能力 关系型数据库凸显出数据库支持「事务」的优越性 事务具有:
可以隔离多个并发事务,避免影响
事务内的操作要么全做,要么不做
事务一旦提交成功,数据保证持久性
事务执行前后,数据状态是一致的
2 主流存储与数据库系统架构
2.1 单机存储
单机存储=单个计算机节点上的存储软件系统,一般不涉及网络交互
文件系统的管理单元:文件
文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,,rootfs等,
(1)lndex Node
记录文件元数据,如id、大小、权限、磁盘位置等
inode是一个文件的唯一标识,会被存储到磁盘上
inode的总数在格式化文件系统时就固定了
2.2 分布式存储
分布式存储=在单机存储基础上实现了分布式协议,涉及大量网络交互
(1)HDFS
支持海量数据存储
高容错性
(2)Ceph
一套系统支持对象接口、块接口、文件接口,但是一切皆对象
数据写入采用主备复制
模型数据分布模型采用CRUSH算法
2.3 单机关系型数据库
单机数据库=单个计算机节点上的数据库系统 事务在单机内执行,也可能通过网络交互实现分布式事务
(1) Mysql 关系型数据库的通用组件:
Query Engine——负责解析query,生成查询计划
Txn Manager ——负责事务并发管理
Lock Manager ——负责锁相关的策略
Storage Engine——负责组织内存/磁盘数据结构
Replication ——负责主备同步
2.5 分布式数据库
单机数据库遇到了容量、弹性和性价比等方面的问题和挑战,需要引入分布式架构解决。
(1)解决容量问题
单机数据库:单点容量有限,受硬件限制
分布式数据库:存储节点池化,动态扩缩容
(2)解决弹性问题
(3)解决性价比问题