认识存储与数据库 ｜ 青训营

用户7388174097978
112 阅读6分钟

1 存储与数据库简介

1.1 存储系统

(1)简介：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

(2)特点：

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，既“简单"又“复杂”

(3)层级结构

image.png

(4)RAID技术

RAID全称：R(edundant) A(rray) of I(nexpensive) D(isks)

出现背景：

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

目标：高性能、高性价比、高可靠性

方案：

RAID 0：

  • 多块磁盘简单组合
  • 数据条带化存储,提高磁盘带宽
  • 没有额外的容错设计

RAID 1：

  • 一块磁盘对应一块额外镜像盘
  • 真实空间利用率仅50%
  • 容错能力强

RAID 0+1：

  • 结合了RAID 0和 RAID 1
  • 真实空间利用率仅50%
  • 容错能力强,写入带宽好

1.2 数据库系统

数据库分为关系型数据库和非关系型数据库。

（1）关系型数据库是存储系统,但是在存储之外，又发展出其他能力：

  • 结构化数据友好
  • 支持事务(AcID)
  • 支持复杂查询语言

（2）非关系型数据库也是存储系统,但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务(ACID)
  • 可能支持复杂查询语言

1.3 存储系统与数据库系统对比

1.3.1 结构化数据管理

给定一条用户注册数据：

image.png

  • 关系型数据库：写入关系型数据库，以表形式管理

image.png

  • 非关系型数据库：写入文件，自行定义管理结构

image.png

1.3.2 事务能力

关系型数据库凸显出数据库支持「事务」的优越性 事务具有:

  • A(tomicity)，事务内的操作要么全做，要么不做
  • C(onsistency)，事务执行前后，数据状态是一致的
  • l(solation)，可以隔离多个并发事务，避免影响
  • D(urability)，事务一旦提交成功，数据保证持久性

image.png

1.3.3 复杂查询能力

举例说明：写入数据之后，想做很复杂的查询怎么办?

Example:请查询出名字以xiao开头，且密码提示问题小于10个字的人，并按性别分组统计人数

数据库系统VS存储系统

image.png

2 主流存储与数据库系统架构

2.1 单机存储

单机存储=单个计算机节点上的存储软件系统,一般不涉及网络交互

文件系统的管理单元:文件

文件系统接口:文件系统繁多，如Ext2/3/4，sysfs,，rootfs等，但都遵循VFS的统一抽象接口

Linux文件系统的两大数据结构: Index Node & Directory Entry

(1)lndex Node

  • 记录文件元数据，如id、大小、权限、磁盘位置等
  • inode是一个文件的唯一标识，会被存储到磁盘上
  • inode的总数在格式化文件系统时就固定了

(2)Directory Entry

  • 记录文件名、inode指针,层级关系(parent)等
  • dentry是内存结构,与inode的关系是N:1(hardlink的实现)

常见使用方式: put(k, v) &get(k)

常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能

拳头产品: RocksDB

image.png

2.2 分布式存储

分布式存储=在单机存储基础上实现了分布式协议,涉及大量网络交互

(1)HDFS

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器，性价比高

image.png

(2)Ceph

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制
  • 模型数据分布模型采用CRUSH算法

image.png

2.3 单机关系型数据库

  • 单机数据库=单个计算机节点上的数据库系统
  • 事务在单机内执行，也可能通过网络交互实现分布式事务

(1) Mysql 关系型数据库的通用组件:

  • Query Engine——负责解析query，生成查询计划
  • Txn Manager ——负责事务并发管理
  • Lock Manager ——负责锁相关的策略
  • Storage Engine——负责组织内存/磁盘数据结构
  • Replication ——负责主备同步

(2)Postgresql

  • 关键内存数据结构:B-Tree、B+-Tree、LRU List等
  • 关键磁盘数据结构: WriteAheadLog (RedoLog)、Page

2.4 单机非关系型数据库

  • 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
  • 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”

非关系型数据库中，MongoDB、Redis、Elasticsearch三足鼎立：

image.png

2.5 分布式数据库

单机数据库遇到了容量、弹性和性价比等方面的问题和挑战，需要引入分布式架构解决。

(1)解决容量问题

  • 单机数据库：单点容量有限，受硬件限制
  • 分布式数据库：存储节点池化，动态扩缩容 image.png

(2)解决弹性问题 image.png

(3)解决性价比问题

image.png

3 新技术演进

3.1 SPDK

SPDK全称为Storage Performance Development Kit，具备如下特点：

(1)Kernel Space -> User Space

  • 避免syscall带来的性能损耗，直接从用户态访问磁盘

(2)中断->轮询

  • 磁盘性能提高后，中断次数随之上升,不利于IO性能
  • SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能

(3)无锁数据结构

  • 使用Lock-free queue，降低并发时的同步开销

3.2 AI+存储

image.png

3.3 高性能硬件

(1)RDMA网络

  • 传统的网络协议栈.需要基于多层网络协议处理数据包,存在用户态&内核态的切换，足够通用但性能不是最佳
  • RDMA是kernel bypass的流派,不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少cpu开销

(2)Persistent Memory

在NVMe SSD和Main Memory间有一种全新的存储产品: Persistent Memory

  • IO时延介于SSD和Memory之间,约百纳秒量级
  • 可以用作易失性内存(memory mode),也可以用作持久化介质(app-direct)

(3)可编程交换机 P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

  • 可以用作易失性内存(memory mode),也可以用作持久化介质(app-direct)

(4)CPU/GPU/DPU

  • CPU: 从multi-core走向many-core
  • GPU:强大的算力&越来越大的显存空间
  • DPU:异构计算，减轻CPU的workload

4 总结

4.1 存储系统

  • 块存储:存储软件栈里的底层系统,接口过于朴素
  • 文件存储:日常使用最广泛的存储系统．接口十分友好，实现五花八门
  • 对象存储:公有云上的王牌产品, immutable语义加持
  • key-value存储:形式最灵活，存在大量的开源/黑盒产品

4.2 数据库系统

  • 关系型数据库:基于关系和关系代数构建的，一般支持事务和SQL访问，使用体验友好的存储产品
  • 非关系型数据库:结构灵活，访问方式灵活，针对不同场景有不同的针对性产品

4.3 分布式架构

  • 数据分布策略:决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能
  • 数据复制协议:影响lIO路径的性能、机器故障场景的处理方式
  • 分布式事务算法:多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计 单机

本文首先介绍并对比了存储系统和数据库系统，着重介绍单机存储、分布式存储、单机关系型数据库、单机非关系型数据库和分布式数据库特点，最后简介了存储领域新技术。

本文为个人见解，如有错误欢迎指正！

avatar
文章
阅读
粉丝