01. 经典案例
1.1 数据的产生
注册账号-提交数据
1.2 数据的流动
数据进入后台数据库
1.3 数据的持久化
- 校验数据的合法性
- 修改内存
- 写入存储介质
1.4 潜在的问题
- 数据库怎么保证数据不丢?
- 数据库怎么处理多人同时修改的问题?
- 为什么用数据库，除了数据库还能存到别的存储系统吗?
- 数据库只能处理结构化数据吗?
- 有哪些操作数据库的方式，要用什么编程语言?
02. 存储&数据库简介
2.1 存储系统
系统概览
什么是存储系统？
- 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
系统特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构，容易受硬件影响
- 存储系统代码，既“简单”又“复杂”
数据怎么从应用到存储介质
- 「缓存」很重要，贯穿整个存储体系
- 「拷贝」很昂贵，应该尽量减少
- 硬件设备五花八门,需要有抽象统一的接入层
RAID技术
单机存储系统怎么做到高性能 /高性价比 /高可靠性 ? Redundant Array of Inexpensive Disk
磁盘阵列出现的背景:
-
单块大容量磁盘的价格>多块小容量磁盘
-
单块磁盘的写入性能多块盘的并发写入性能
-
单块磁盘的容错能力有限，不够安全
RAID O
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块盘对应一块额外镜像盘
- 真实空间利用率仅50
- 容错能力强
RAID 0+1
- 结合了RAID O 和 RAID 1
- 真实空间利用率仅50%
- 容错能力强，写入带宽好
2.2 数据库
数据库概述
关系 (Relation) 又是什么 ?
- Edgar.F.Codd于1970年提出 [关系模型]
- 关系 = 集合 = 任意元素组成的若干有序偶对反应了事物间的关系
- 关系代数 = 对关系作运算的抽象查询语言，例如交、并、笛卡尔积··
- SOL = 一种DSL = 方便人类读的关系代数表达形式
关系型数据库特点
- 结构化数据友好
- 支持事务
- 支持复杂查询语言
非关系型数据库特点
- 半结构化数据友好
- 可能支持事务
- 可能支持复杂查询语言
2.3 数据库 vs 经典存储
事务能力
凸显出数据库支持[事务]的优越性
事务具有
- A(tomicity)，事务内的操作要么全做，要么不做
- C(onsistency)，事务执行前后，数据状态是一致的
- I(solation),可以隔离多个并发事务，避免影响
- D(urability)，事务一旦提交成功，数据保证持久性
03. 主流产品剖析
3.1 单机存储
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
特点
- 文件系统的管理单元:文件
- 文件系统接口:文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
- Linux文件系统的两大数据结构:Index Node & Directory Entry
Index Node
- 记录文件元数据，如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上，inode的总数在格式化文件系统时就固定了
Directory Entry
- 记录文件名、inode指针，层级关系(parent)等dentry是内存结构，与inode的关系是N:1(hardlink的实现)
key-value存储
特点
- 常见使用方式: put(k, v) & get(k)
- 常见数据结构 : LSM-Tree，某种程度上牺牲读性能，追求写入性能
- 拳头产品: RocksDB
3.2 分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
分布式文件系统
- HDFS : 堪称大数据时代的基石
- 时代背景 : 专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
分布式对象存储
Ceph : 开源分布式存储系统里的万金油
Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
3.2 单机数据库
单机数据库 = 单个计算机节点上的数据库系统事务在单机内执行，也可能通过网络交互实现分布式事务
关系型数据库
商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸 MysQL
关系型数据库的通用组件 :
- Query Engine - 负责解析query，生成查询计划
- Txn Manager -负责事务并发管理
- Lock Manager -_负责锁相关的策略
- Storage Engine -_负责组织内存/磁盘数据结构
- Replication -_负责主备同步
- 关键内存数据结构 : B-Tree、B+-Tree、LRU List等
- 关键磁盘数据结构 : WriteAheadLog (RedoLog) 、Page
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
- 关系型数据库一般直接使用SQL交互而非关系型数据库交互方式各不相同
- 非关系型数据库的数据结构千奇百怪没有关系约束后, schema相对灵活
- 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”
