存储与数据库
数据库的持久性
校验数据的合法性->修改内存->写入内存介质
储存系统:一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件
特点:
作为后端软件的底座,性能敏感
储存系统代码,既简单又复杂
储存系统软件架构,容易受硬件影响
RAID技术
关系型数据库
特性
原子性
一致性
隔离性
持久性
单机储存:单个计算机节点上的储存软件系统,一般不涉及网络交互
单击储存——本地文件系统
文件系统的管理单元:文件
文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构:Index Node&Directory Entry
分布式储存:在单机储存基础上实现了分布式协议,涉及大量网络交互
HDFS核心特点:
支持海量数据储存
高容错性
弱POSIX语义
使用普通x86服务器,性价比高
Ceph的核心特点:
一套系统支持对象接口、块接口、文件接口,但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法(HASH+权重+随机抽签) 单机数据库+单个计算机节点上的数据库系统 事务在单机内执行,也可能通过网络交互实现分布式事务
关系型数据库的通用组件:
Query Engine ——负责解析query,生成查询计划
Txn Manager ——负责事务并发管理
Lock Manager ——负责锁相关的策略
Storage Engine ——负责组织内存/磁盘数据结构
Replication ——负责主备同步
关键内存数据结构:B-Tree、B+-Tree、LRU List等
关键磁盘数据结构:WriteAheadLog(RedoLog)、Page
关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同 非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活 不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务”