存储与数据库 | 青训营笔记

用户298196146176
66 阅读1分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 6 天

存储与数据库

数据怎么从应用到存储介质

image.png

  • 「缓存」很重要，贯穿整个存储体系
  • 「拷贝」很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

RAID技术

  • R(edundant) A(rray) of I(nexpensive) D(isks)
  • RAID出现的背景：
    • 单块大容量磁盘的价格 > 多块小容量磁盘
    • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
    • 单块磁盘的容错能力有限，不够安全

数据库

  • 关系型数据库
    • 关系型数据库是存储系统，但是在存储之外，又发展出其他能力
      • 结构化数据友好
      • 支持事务（ACID）
      • 支持复杂查询语言
  • 非关系型数据库
    • 非关系型数据库也是存储系统，但是一般不要求严格的结构化
      • 半结构化数据友好
      • 可能支持事务（ACID）
      • 可能支持复杂查询语言
  • 事务能力
    • A(tomicity)，事务内的操作要么全做，要么不做
    • C(onsistency)，事务执行前后，数据状态是一致的
    • I(solation)，可以隔离多个并发事务，避免影响
    • D(urability)，事务一旦提交成功，数据保证持久性

主流产品剖析

单机存储

  • 单个计算机节点上的存储软件系统，一般不涉及网络交互
  • 本地文件系统
    • 文件系统的管理单元：文件
    • 文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
    • Linux文件系统的两大数据结构：Index Node & Directory Entry
      • Index Node：记录文件元数据，如id、大小、权限、磁盘位置等 inode是一个文件的唯一标识，会被存储到磁盘上 inode的总数在格式化文件系统时就固定了
      • Directory Entry：记录文件名、inode指针，层级关系(parent)等 dentry是内存结构，与inode的关系是N:1(hardlink的实现)
  • key-value存储

分布式存储

  • 分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互
  • HDFS：堪称大数据时代的基石
    • image.png
    • 时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
    • 核心特点：
      • 支持海量数据存储
      • 高容错性
      • 弱POSIX语义
      • 使用普通x86服务器，性价比高
  • Ceph：开源分布式存储系统里的「万金油」
    • image.png
    • 核心特点：
      • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
      • 数据写入采用主备复制模型
      • 数据分布模型采用CRUSH算法
        • HASH + 权重 + 随机抽签

单机数据库

  • 单机数据库 = 单个计算机节点上的数据库系统
  • 事务在单机内执行，也可能通过网络交互实现分布式事务
  • 关系型数据库
    • 商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸
    • 关系型数据库的通用组件：
      • Query Engine —— 负责解析query，生成查询计划
      • Txn Manager —— 负责事务并发管理
      • Lock Manager —— 负责锁相关的策略
      • Storage Engine —— 负责组织内存/磁盘数据结构
      • Replication —— 负责主备同步
    • 关键内存数据结构：B-Tree、B+-Tree、LRU List等
    • 关键磁盘数据结构：WriteAheadLog（RedoLog）、Page
  • 非关系型数据库
    • MongoDB、Redis、Elasticsearch三足鼎立
    • 关系型数据库一般直接使用SQL交互， 而非关系型数据库交互方式各不相同
    • 非关系型数据库的数据结构千奇百怪， 没有关系约束后，schema相对灵活
    • 不管是否关系型数据库，大家都在 尝试支持SQL(子集)和“事务”
    • image.png
      • image.png

分布式数据库

  • 解决
    • 容量
      • image.png
    • 弹性
      • image.png
    • 性价比
      • image.png
  • 更多
    • 单写 vs 多写
    • 从磁盘弹性到内存弹性
    • 分布式事务优化

新技术演进

  • 软件架构变更
    • Bypass OS kernel
    • image.png
  • AI增强
    • 行存/列存->行列混合存
  • 新硬件革命
    • RDMA网络
      • 传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态 & 内核态的切换，足够通用但性能不是最佳
      • RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把 用户态虚拟内存映射给网卡，减少拷贝开销，减少cpu开销
    • Persistent Memory
      • 在NVMe SSD和Main Memory间有一种全新的存储产品：Persistent Memory
        • IO时延介于SSD和Memory之间，约百纳秒量级
        • 可以用作易失性内存（memory mode），也可以用作持久化介质（app-direct）
    • 可编程交换机
      • P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网 络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等
    • CPU/GPU/DPU
      • CPU：从multi-core走向many-core
      • GPU：强大的算力 & 越来越大的显存空间
      • DPU：异构计算，减轻CPU的workloa
avatar
文章
阅读
粉丝