认识存储&数据库 | 青训营笔记

yhstsy
118 阅读7分钟

数据的生命周期

数据的产生

一名用户输入账号、密码等个人信息后点击注册按钮，数据由此产生，并开始流向APP的后端服务器。

数据的流动

数据从前端页面流向后端服务器，再由后端服务器流向数据库（往往数据库是数据流向的最后一环），到了数据库，此时数据就实现了持久化。接下来，数据仍有可能被其他系统调用，整个流动过程是：前端->后端服务器->数据库->其他系统。

数据的持久化

数据库的操作：

  • 第一步，校验数据的合法性：账户名是否已存在？
  • 第二步，修改内存：用高效的数据结构存储数据
  • 第三步，写入存储介质：以寿命 & 性能友好的方式写入硬件

存储 & 数据库

存储系统

系统定义

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

系统特点

  • 作为后端软件的底座，性能敏感
  • 存储系统代码，既“简单”又“复杂”（简单：在I/O路径上不能很复杂，也不能有很多分支。复杂：考虑多种异常情况）
  • 存储系统软件架构，容易受硬件影响

存储器层级结构

image.png

从应用到存储介质

流程：用户数据--应用请求->应用缓存--I/O系统请求->缓存->磁盘

  • 缓存 贯穿整个存储体系
  • 拷贝 成本很高，要尽量减少
  • 硬件设备五花八门，需要有抽象统一的的接入层

RAID技术

背景：人类对单机存储系统高性能/高性价比/高可靠性的追求 RAID 0 的内容： 多块磁盘简单组合，数据条带化存储（提高磁盘带宽），没有额外的容错设计 RAID 1的内容：一块磁盘对应一块额外镜像盘，真实空间利用率仅50%，容错能力强 RAID 0+1的内容：真实空间利用率仅50%，容错能力强，写入带宽好

存储系统

关系

关系=集合=任意元素组成的若干有序偶对，反应了事物间的关系 关系代数=对关系作运算的抽象查询语言，如笛卡尔积等 SQL=一种DSL（Domain Specific Language）=方便人类阅读的关系代数表达形式

关系型数据库

关系型数据库就是存储系统，但是在存储之外又有其他能力

  • 结构化数据友好
  • 支持事务（ACID）
  • 支持复杂查询语言

非关系数据库

非关系数据库也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务（ACID）
  • 可能支持复杂查询语言

结构化数据管理

  • 写入关系型数据库，以表形式管理
  • 写入文件，自行定义管理结构

事务能力

事务包括增删改查。 事务具有以下特点：

  • A：事务内的操作要么全做，要么不做
  • C：事务执行前后，数据状态是一致的
  • I：可以隔离多个并发事务，避免影响
  • D：事务一旦提交成功，数据保证持久性

复杂查询能力

数据库查询：MySQL查询——灵活、简洁 经典存储系统查询：遍历每一个再查询——僵化、复杂

主流产品剖析

单机存储

单个计算机节点上的存储软件系统，一般不涉及网络交互。例：本地文件系统，key-value存储等。

本机文件系统

  • Linux 基本是“一切皆文件”，虽然文件系统繁多，但都遵循VFS的统一抽象接口。
  • Linux文件系统的两大数据结构：Index Node（记录文件元数据，包括id、大小、权限、磁盘位置等，是文件的唯一标识） & Directory Entry（记录文件名、index node指针、层级关系等）
  • Directory Entry是内存结构，与Index Node的关系是N:1，通过hardlink实现。

key-value存储

  • 一切皆可“key-value”，常见使用方式：put(k,v) & get(k)
  • 常见数据结构：LSM-Tree，按顺序写入，一直追加。某种程度上牺牲读性能，追求写入性能

分布式存储

在单机存储基础上实现了分布式协议，涉及大量网络交互。例：分布式文件系统，分布式对象存储等。

HDFS

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器，性价比高

Ceph

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法（核心思想：利用哈希+权重+随机抽签）

单机关系型数据库

  • 单机数据库=单个计算机节点上的数据库系统（事务在单机内执行，也可能通过网络交互实现分布式事务）

关系型数据库的通用组件：

  1. Query Engine——负责解析query，生成查询结构
  2. Txn Manager——负责事务并发管理
  3. Lock Manager——负责锁相关的策略
  4. Storage Engine——负责组织内存/磁盘数据结构
  5. Replication——负责主备同步
  • 关键内存数据结构：B-Tree、B+-Tree、LRU List等
  • 关键磁盘数据结构：WriteAheadLog(RedoLog)、Page

单机非关系型数据库

  • 单机数据库=单个计算机节点上的数据库系统（事务在单机内执行，也可能通过网络交互实现分布式事务）

非关系型数据库的特点：

  1. 关系型数据库一般直接使用SQL交互，非关系型数据库交互方式各不相同
  2. 没有关系约束后，数据结构千奇百怪，schema相对灵活
  3. （比较内卷）在尝试支持SQL（子集）和“事务”
  • 例：redis
  1. 数据结构丰富（hash表、set、zset、list）
  2. C语言实现，超高性能
  3. 主要基于内存，但支持AOF/ROB持久化
  4. 常用redis-cli/多语言SDK交互
  • Elasticsearch：跟RDBMS相比，ES天然能做[模糊搜索]，还能自动算出关联程度。（传统关系型数据库默认做不到这一点）

分布式数据库

分布式架构解决：容量、弹性、性价比

提升容量

  • 单机：单点容量有限，受硬件限制
  • 分布式：存储节点池化，动态扩缩容（用户不需感知容量大小）

提升弹性

通过池化操作实现（用户仍然不需感知容量大小）

提升性价比

通过池化解决性价比问题。

  • CPU不够用：扩展CPU的Server
  • 存储空间不够用：存储池是分布式的，透明的，可以动态扩容

其他未实现的改进空间

  • 单写 vs 多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优化

新技术演进

概览

  • 软件架构变更：减少依赖操作系统内核
  • AI增强：智能存储格式转化
  • 新硬件革命：存储介质、计算单元、网络硬件的变更

SPDK

  • 内核态kernel -> 用户态User：直接从用户态访问磁盘
  • 中断 -> 轮询：可以绑定特定的cpu核不断轮询，提高性能
  • 无锁数据结构：使用Lock-free queue，降低并发时的同步开销

AI & Storage

行列混存的存储结构，通过AI实时分析动态，决策行/列存。

高性能硬件

  1. RDMA网络：把用户态虚拟内存映射给网卡
  2. Persistent Memory：可以用作易失性内存，也可用作持久化介质
  3. 可编程交换机：P4 Switch，在数据库场景下，可实现缓存一致性协议等
  4. CPU/GPU/DPU：
    • CPU：从multi-core走向more-core
    • GPU：强大的算力 & 越来越大的显存空间
    • DPU：异构计算，减轻CPU的workload
avatar
文章
阅读
粉丝