这是我参与「第五届青训营 」伴学笔记创作活动的第 13 天
RDBMS(关系型数据库)是目前使用最为广泛的数据库之一,同时也是整个信息化时代的基石。本课介绍了RDBMS的作用、发展历程及其核心技术,最后通过例子展示了RDBMS的企业级实践。
课程基础
存储系统
- 块存储
- 文件存储
- 对象存储
- key-value存储
分布式架构
- 数据分布策略
- 数据复制协议
- 分布式事务算法
RDBMS 中 ACID 的概念
事务:一组SQL语句组成的程序执行单元,需要满足ACID特性。
- 原子性(Atomicity):事务是一个不可再分割的工作单元,事务中的操作要么都发生,要么都不发生。
- 一致性(Consistency):数据库事务不能破坏关系数据的完整性以及业务逻辑上的一致性。
- 隔离性(Isolation):多个事务并发访问时,事务之间是隔离的,一个事务不应该影响其它事务运行效果。
- 持久性(Durability):在事务完成以后,该事务所对数据库所做的更改便持久的保存在数据库之中,并不会被回滚。
1. 发展历史
从传统结绳记事等人工管理发展到文件系统再到如今的数据库管理,数据库发展最初过程中,诞生过3种数据模型,最终关系型模型成为了应用最为广泛的数据库模型。
- 网状模型:用有向图表示实体和实体之间的联系的数据结构模型称为网状数据模型。
- 层次模型:层次数据模型是用树状<层次>结构来组织数据的数据模型。
- 关系模型:使用表格表示实体和实体之间关系的数据模型称之为关系数据模型。
| 网状模型 | 层次模型 | 关系模型 | |
|---|---|---|---|
| 优势 | 能直接描述现实世界、 存取效率较高 | 结构简单、 查询效率高、 可以提供较好的完整性支持 | 实体及实体间的的联系都通过二维表结构表示、 可以方便的表示M:N关系 数据访问路径对用户透明 |
| 劣势 | 结构复杂、 用户不易使用、 访问程序设计复杂 | 无法表示M:N的关系、 插入、删除限制多 遍历子节点必须经过父节点、 访问程序设计复杂 | 关联查询效率不够高、 关系必须规范化 |
2. 关键技术
2.1 SQL 执行流程
在SQL执行过程中,需要经历SQL引擎、存储引擎、以及事务引擎等模块。而其中SQL引擎又分为Parser、Optimizer、Executor三部分:
2.2 SQL 引擎
SQL引擎包括了:
- Paser:经过词法分析、语法分析生成语法树,然后对语法树进行合法性校验。
- Optimizer:根据Parser产生的语法树,根据规则或者代价产生执行计划树。
- RBO:条件化简/表连接优化/Scan优化(索引)
- CBO:时间
- Executor:根据计划树进行执行,常见的执行方式是火山模型。
- 调用关系从根到叶,数据流从叶到根
- 向量化+列式存储
- 编译执行:动态调整
2.3 存储引擎
chunk-block-page
存储引擎负责了数据的底层存储、管理和访问工作。各大RDBMS存储引擎的设计都有不少的差异,这里选择MySQL的InnoDB存储引擎来向大家做一个介绍:
- Buffer Pool:存储引擎位于内存中的重要结构,用于缓存数据,减少磁盘IO的开销。
- Page:数据存储的最基本单位,一般为16KB。页内记录通过单向链表连接,是无序的
- B+ Tree:InnoDB中最常用的索引结构。
2.4 事务引擎
事务引擎实现了数据库的ACID能力,这里还是以MySQL的InnoDB为例来介绍数据库内部是通过哪些技术来实现ACID:
- Atomicity:InnoDB中通过undo日志实现了数据库的原子性,通过Undo Log逻辑日志,数据库可以回滚到事务开始的状态;
- Isolation:通过Undo Log实现MVCC(多版本并发控制),降低读写冲突。
- Durability:通过Redo Log(一种WAL(write-ahead logging)实现方式)来保证事务在提交后一定能持久化到磁盘中。
- Consistency:一致性本质上是一种业务层的限制。
3. 企业实践
3.1 大流量——sharing
业务数据水平拆分
代理层进行分片路由
3.2 流量突增
扩容
- 扩容DB物理节点数量
- 利用影子表进行压测
代理连接池
- 业务侧/代理侧预热连接池
- 代理侧支持连接队列
3.3 稳定性
3AZ高可用
HA
- ha服务监管,切换宕机节点
- 代理支持配置热加载
- 代理自动屏蔽宕机读节点