带你认识存储&数据库|青训营笔记

这是我参与「第三届青训营 -后端场」笔记创作活动的的第18篇笔记

• 存储系统
  • 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
  • 特点
    • 作为后端软件的底座，性能敏感
    • 存储系统软件架构，容易受硬件影响
    • 存储系统代码，既"简单"又"复杂"
  • 数据怎么从应用到存储介质
    • 缓存很重要，贯穿整个存储体系
    • 拷贝很昂贵，应该尽量减少
    • 硬件设备五花八门，需要有抽象统一的接入层
  • RAID技术
    • 单机存储系统怎么做到高性能/高性价比/高可靠性
      • Redundant Array of Inexpensive Disks
      • 背景
        • 单块大容量磁盘的价格>多块小容量磁盘
        • 单块磁盘的写入性能<多块磁盘的并发写入性能
        • 单块磁盘的容错能力有限，不够安全
      • RAID 0
        • 多块磁盘简单组合
        • 数据条带化存储，提高磁盘带宽
        • 没有额外的容错设计
      • RAID 1
        • 一块磁盘对应一块额外镜像盘
        • 真实空间利用率仅50%
        • 容错能力强
      • RAID 0+1
        • 结合了RAID 0和RAID 1
        • 真实空间利用率仅50%
        • 容错能力强，写入带宽好
• 数据库
  • 关系relation
    • 关系=集合=任意元素组成的若干有序偶对，反映了事物间关系
    • 关系代数=对关系作运算的抽象查询语言
    • SQL = 一种DSL = 方便人类阅读的关系代数表达形式
  • 关系型数据库
    • 一种存储系统，但是在存储之外，又发展出其他能力
      • 结构化数据友好
      • 支持事务(ACID)
      • 支持复杂查询语言
  • 非关系型数据库
    • 也是存储系统，但是一般不要求严格的结构化
      • 半结构化数据友好
      • 可能支持事务
      • 可能支持复杂查询语言
  • 数据库vs经典存储
    • 结构化数据管理
    • 事务能力
      • Atomicity
        • 事务内的操作要么全做，要么不做
      • Consistency
        • 事务执行前后，数据状态是一致的
      • Isolation
        • 可以隔离多个并发事务，避免影响
      • Durability
        • 事务一旦提交成功，数据保证持久化
    • 复杂查询
    • 数据库使用方式
      • DSL(Domain Specific Language)
• 主流产品剖析
  • 单机存储
    • 单个计算机节点上的存储软件系统，一般不涉及网络交互
    • 本地文件系统
    • key-value存储
  • 分布式存储
    • HDFS
      • 时代背景
        • 专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
      • 核心特点
        • 支持海量数据存储
        • 高容错率
        • 弱POSIX语义
        • 使用普通x86服务器，性价比高
    • Ceph
      • 核心特点
        • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
        • 数据写入采用主备复制模型
        • 数据分布模型采用CRUSH算法
          • HASH + 权重 + 随机抽签
  • 单机数据库
    • 单个计算机节点上的数据库系统;事务在单机内执行，也可能通过网络交互实现分布式事务
    • 关系型数据库
      • 通用组件
        • Query Engine
          • 负责解析query，生成查询计划
        • Txn Manager
          • 负责事务并发管理
        • Lock Manager
          • 负责锁相关的策略
        • Storage Engine
          • 负责组织内存/磁盘数据结构
        • Replication
          • 负责主备同步
      • 关键内存数据结构
        • B-Tree
        • B+Tree
        • LRU List
      • 关键磁盘数据结构
        • WriteAheadLog(RedoLog)
        • Page
    • 非关系型数据库
      • MongoDB、Redis、ElasticSearch三足鼎立
      • 关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
      • 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
      • 不管是否是关系型数据库，大家都在尝试支持SQL子集和事务
      • ElasticSearch
        • 面向文档存储
        • 文档可序列化为JSON，支持嵌套
        • 存在index,index=文档的集合
        • 存储和构建索引能力依赖Lucene引擎
        • 实现了大量搜索数据结构和算法
        • 支持RESTful API，也支持弱SQL交互
        • 天然能做模糊搜索，能自动算出关联程度
      • Redis
        • 数据结构丰富(hash表、set、zset、list)
        • c语言实现、超高性能
        • 主要基于内存，但支持AOF/RDB持久化
        • 常用redis-cli/多语言SDK交互
      • MongoDB
        • 面向文档存储
        • 文档可序列化为JSON/BSON、支持嵌套
        • 存在collection,collection=文档的集合
        • 存储和构建索引能力依赖wiredTiger引擎
        • 4.0后开始支持事务(多文档、跨分片多文档等)
        • 常用client/SDK交互，可通过插件转译支持弱SQL
    • 分布式数据库
      • 问题背景
        • 容量
          • 单点容量有限，受硬件限制
        • 弹性
        • 性价比
      • 存储节点池化，动态扩缩容
      • 单写vs多写
      • 从磁盘弹性vs内存弹性
      • 分布式事务优化
• 新技术演进
  • 软件架构变更
    • Bypass OS kernel
  • AI增强
    • 智能存储格式转换
  • 新硬件革命
    • 存储介质变更
    • 计算单元变更
    • 网络硬件变更
  • SPDK
    • Kernel Space->User Space
      • 避免syscall带来的性能损耗，直接从用户态访问磁盘
    • 中断->轮询
      • 磁盘性能提高后，中断次数随之上升，不利于IO性能
      • SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能
    • 无锁数据结构
      • 使用Lock-free queue，降低并发时同步开销
  • AI & Storage
    • 数据存储格式转换
      • 行存
      • 列存
      • 行列混存
  • 高性能硬件
    • RDMA网络
      • 传统的网络协议栈需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但性能不是最佳
      • RDMA是kernel bypass的流派，不经过传统网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少cpu开销
    • Persistent Memory
      • 在NVMe SSD和Main Memory间一种全新的存储产品
      • IO时延介于SSD和Memory之间，约百纳秒量级
      • 可以用作易失性内存，也可以用作持久化介质
    • 可编程交换机
      • P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑，在数据库场景下，可以实现缓存一致性协议等
    • CPU/GPU/DPU
      • CPU
        • 从multi-core走向many-core
      • GPU
        • 强大的算力&越来越大的显存空间
      • DPU
        • 异构计算，减轻CPU的负载
  • 分布式架构
    • 数据分布策略
      • 决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能
    • 数据复制协议
      • 影响IO路径的性能、机器故障场景的处理方式
    • 分布式事务算法
      • 多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计