数据库与存储 ｜ 青训营笔记

凤2018
82 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天。

前言

本节课先描述数据是怎么产生，在后端系统里怎么流通，最后怎么写入到存储/数据库系统，为大家讲解存储/数据库系统的产生背景及基本特点。

存储系统

存储系统--系统概览

Q:什么是存储系统?

A:一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

存储系统--系统特点

  1. 作为后端软件的底座，性能敏感

  2. 存储系统软件架构，容易受硬件影响

  3. 存储系统代码，既“简单"又“复杂”

存储系统--数据怎么从应用到存储介质

  • 「缓存」很重要，贯穿整个存储体系

  • 「拷贝」很昂贵，应该尽量减少

  • 硬件设备五花八门，需要有抽象统一的接入层

image.png

存储系统--RAID技术

Q:单机存储系统怎么做到高性能/高性价比/高可靠性?

A: R(edundant) A(rray) of l(nexpensive) D(isks)

  • RAID出现的背景:

    1. 单块大容量磁盘的价格>多块小容量磁盘

    2. 单块磁盘的写入性能<多块磁盘的并发写入性能

    3. 单块磁盘的容错能力有限，不够安全

数据库

数据库--关系型数据库特点

关系型数据库是存储系统，但是在存储之外，又发展出其他能力

  1. 结构化数据友好

  2. 支持事务(ACID)

  3. 支持复杂查询语言

数据库--非关系型数据库特点

非关系型数据库也是存储系统，但是一般不要求严格的结构化

  1. 半结构化数据友好

  2. 可能支持事务(ACID)

  3. 可能支持复杂查询语言

数据库--事务能力

凸显出数据库支持「事务」的优越性。

事务具有:

  1. A(tomicity)，事务内的操作要么全做，要么不做

  2. C(onsistency),事务执行前后，数据状态是一致的

  3. I(solation)，可以隔离多个并发事务，避免影响

  4. D(urability),事务一旦提交成功，数据保证持久性

主流产品

单机存储

单机存储--概览

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互。

单机存储--本地文件系统

Linux经典哲学:一切皆文件

  • 文件系统的管理单元:文件

  • 文件系统接口:文件系统繁多，如Ext2/3/4, sysfs, rootfs等，但都遵循VFS的统一抽象接口

  • Linux文件系统的两大数据结构: Index Node & Directory Entry

单机存储--key-value存储

(世间一切皆key-value，key是你身份证，value是你的内涵: )

  • 常见使用方式: put(k, v) & get(k)

  • 常见数据结构: LSM-Tree, 某种程度上牺牲读性能，追求写入性能

  • 拳头产品: RocksDB

分布式存储

分布式存储--概览

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互。

分布式存储--HDFS

HDFS:堪称大数据时代的基石

  • 时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

  • HDFS核心特点:

    1. 支持海量数据存储

    2. 高容错性

    3. 弱POSIX语义

    4. 使用普通x86服务器，性价比高

单机数据库

单机数据库--概览

  • 单机数据库=单个计算机节点上的数据库系统

  • 事务在单机内执行，也可能通过网络交互实现分布式事务

单机数据库--关系型数据库

商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸

  • MySQL

关系型数据库的通用组件:

  1. Query Engine -- 负责解析query,生成查询计划

  2. Txn Manager -- 负责事务并发管理

  3. Lock Manager -- 负责锁相关的策略

  4. Storage Engine -- 负责组织内存/磁盘数据结构

  5. Replication -- 负责主备同步

  • PostgreSQL

    1. 关键内存数据结构: B-Tree、 B+-Tree、 LRU List等

    2. 关键磁盘数据结构: WriteAheadLog (RedoLog) 、 Page

单机数据库--非关系型数据库

  • 关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同

  • 非关系型数据库的数据结构千奇百怪,没有关系约束后，schema相对灵活

  • 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”

总结

存储系统

  • 块存储:存储软件栈里的底层系统，接口过于朴素

  • 文件存储:日常使用最广泛的存储系统，接口十分友好，实现五花八门

  • 对象存储:公有云上的王牌产品，immutable语义加持

  • key-value存储:形式最灵活，存在大量的开源/黑盒产品

数据库系统

  • 关系型数据库:基于关系和关系代数构建臣般支持事务和SQL访问，使用体验友好的存储产品

  • 非关系型数据库:结构灵活，访问方式灵活:针对不同场景有不同的针对性产品

分布式架构

  • 数据分布策略:决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能

  • 数据复制协议:影响IO路径的性能、机器故障场景的处理方式

  • 分布式事务算法多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计

引用参考

  1. 字节跳动内部课程juejin.cn/course/byte…

  2. - The Google File System

  3. 从单机到分布式数据库存储系统的演进juejin.cn/post/711449…

avatar
文章
阅读
粉丝