存储与数据库|青训营

98 阅读3分钟

存储

1.1 存储系统

(1)什么是存储系统:一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统

(2)层级结构

单块大容量磁盘的价格 > 多块小容量磁盘

单块磁盘的写入性能 < 多块磁盘的并发写入性能

(3)特点:

作为后端软件的底座,性能敏感 存储系统软件架构,容易受硬件影响 存储系统代码,既“简单"又“复杂”

1.2 数据库系统

数据库分为关系型数据库和非关系型数据库。

(1)关系型数据库是存储系统,但是在存储之外,又发展出其他能力:

(2)非关系型数据库也是存储系统,但是一般不要求严格的结构化

1.3 存储系统与数据库系统对比

1.3.1 事务能力 关系型数据库凸显出数据库支持「事务」的优越性 事务具有:

可以隔离多个并发事务,避免影响

事务内的操作要么全做,要么不做

事务一旦提交成功,数据保证持久性

事务执行前后,数据状态是一致的

2 主流存储与数据库系统架构

2.1 单机存储

单机存储=单个计算机节点上的存储软件系统,一般不涉及网络交互

文件系统的管理单元:文件

文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,,rootfs等,

(1)lndex Node

记录文件元数据,如id、大小、权限、磁盘位置等

inode是一个文件的唯一标识,会被存储到磁盘上

inode的总数在格式化文件系统时就固定了

2.2 分布式存储

分布式存储=在单机存储基础上实现了分布式协议,涉及大量网络交互

(1)HDFS

支持海量数据存储

高容错性

(2)Ceph

一套系统支持对象接口、块接口、文件接口,但是一切皆对象

数据写入采用主备复制

模型数据分布模型采用CRUSH算法

2.3 单机关系型数据库

单机数据库=单个计算机节点上的数据库系统 事务在单机内执行,也可能通过网络交互实现分布式事务

(1) Mysql 关系型数据库的通用组件:

Query Engine——负责解析query,生成查询计划

Txn Manager ——负责事务并发管理

Lock Manager ——负责锁相关的策略

Storage Engine——负责组织内存/磁盘数据结构

Replication ——负责主备同步

2.5 分布式数据库

单机数据库遇到了容量、弹性和性价比等方面的问题和挑战,需要引入分布式架构解决。

(1)解决容量问题

单机数据库:单点容量有限,受硬件限制

分布式数据库:存储节点池化,动态扩缩容

(2)解决弹性问题

(3)解决性价比问题