存储与数据库 | 青训营笔记

67 阅读2分钟

存储与数据库

数据库的持久性

校验数据的合法性->修改内存->写入内存介质

储存系统:一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件

特点:

作为后端软件的底座,性能敏感

储存系统代码,既简单又复杂

储存系统软件架构,容易受硬件影响

RAID技术

关系型数据库

特性

原子性

一致性

隔离性

持久性

单机储存:单个计算机节点上的储存软件系统,一般不涉及网络交互

单击储存——本地文件系统

文件系统的管理单元:文件

文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口

Linux文件系统的两大数据结构:Index Node&Directory Entry

分布式储存:在单机储存基础上实现了分布式协议,涉及大量网络交互

HDFS核心特点:

支持海量数据储存

高容错性

弱POSIX语义

使用普通x86服务器,性价比高

Ceph的核心特点:

一套系统支持对象接口、块接口、文件接口,但是一切皆对象

数据写入采用主备复制模型

数据分布模型采用CRUSH算法(HASH+权重+随机抽签) 单机数据库+单个计算机节点上的数据库系统 事务在单机内执行,也可能通过网络交互实现分布式事务

关系型数据库的通用组件:

Query Engine ——负责解析query,生成查询计划

Txn Manager ——负责事务并发管理

Lock Manager ——负责锁相关的策略

Storage Engine ——负责组织内存/磁盘数据结构

Replication ——负责主备同步

关键内存数据结构:B-Tree、B+-Tree、LRU List等

关键磁盘数据结构:WriteAheadLog(RedoLog)、Page

关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同 非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活 不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务”