存储系统主流产品剖析&新技术演进知识点总结 | 青训营

上下一白老照片
200 阅读6分钟

主流产品剖析

1 单机存储

单机存储：单个计算机上的存储系统，一般不涉及网络交互

1.1 本地文件系统

Linux经典哲学：一切皆文件

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口。(VFS定义了一组无论什么类型文件系统都要实现的必须接口)

Linux文件系统的两大数据结构：

Index Node：记录文件元数据，如id、大小、权限、磁盘位置等。index是一个文件的唯一标识（与文件一一对应），会被存储到磁盘上index的总数在格式化文件系统时就固定了

Directory Entry：记录文件名、inode指针、层级关系（parent等）。dentry是内存结构（并不会持久化到磁盘或介质上），与inode的关系是N：1（hardlink的实现）

1.2 key-value 存储

常见使用方式：put(k,v) & get(k)

常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能。

拳头产品：RocksDB

LSM-Tree

image.png

key-value存储系统的LSM-Tree数据结构分为内存数据结构和磁盘数据结构，无论是内存还是磁盘都是遵循顺序写入，追加最新的key-value到内存的MemTable。当MemTable存储满了之后，数据会被刷到Immutable MemTable。在一段时间或满足一定条件之后，数据顺序写入磁盘中的SSTable（有序key-value集合），在Level 0的SSTable满了之后，数据会被刷到Level 1的SSTable，以此类推。在读取数据时，系统需要把合并多层Table才能读取最新版本的key-value数据。

2 分布式存储

分布式存储：在单机存储基础上实现了分布式协议，涉及大量网络交互

2.1 HDFS

堪称大数据时代的基石。

时代背景：专用的高级硬件很贵，同时数据存储量很大，要求超高吞吐。

HDFS核心特点：

  1. 支持海量数据存储
  2. 高容错性
  3. 弱POSIX语义
  4. 使用普通x86服务器，性价比高

image.png

Managment Node是分布式系统的管控面。读取数据时，用户先访问NameNode获取数据存储的物理位置，再去Storage Node读取数据。

2.2 Ceph

Ceph：开源分布式存储系统里的万金油

Ceph的核心特点：

  1. 一套系统支持对象接口、块接口、文件接口，但是一切皆对象；
  2. 数据写入采用主备复制模型（client先写入主节点，再由主节点复制备份，而不是直接从client发布多个副本）；
  3. 数据分布式模型（数据制作副本备份后，如何安排副本存储位置）采用CRUSH算法。

3 单机数据库

单机数据库： 单个计算机节点上的数据库系统（事务在单机内执行，也可能通过网络交互实现分布式事务）

3.1 关系型数据库

商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸。

关系型数据库的通用组件：

  1. Query Engine：负责解析query，生成查询计划

  2. Txn Manager：负责事务并发管理

  3. Lock Manager：负责锁相关的策略

  4. Storage Engine：负责组织关系内存/磁盘数据结构

  5. Roplication：负责主备同步。

关键内存数据结构：B-Tree，B+-Tree，LRU List等

关键磁盘数据结构：WriteAheadLog（RedoLog），Page等

image.png

在数据库系统内，内存以树状结构组织数据，树的节点是Page。用户插入数据或更新数据本质上是更新Page数据结构。系统先记录一条操作日志（RedoLog），确保操作不会丢失

Temp data临时数据，内存不够用时生成的临时数据，随着计算推进，再拼接临时数据运算并返回结果

3.2 非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

MongoDB

image.png

Redis

image.png

Elasticsearch

image.png

关系型数据库一般直接使用SQL交互，而非关系型数据库交互各不相同。

非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活。

不管是否关系型数据库，大家都在尝试支持SQL（子集）和事务

4 从单机到分布式数据库

Q：单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决？

A：容量、弹性、性价比

4.1 分布式数据库-解决容量问题

单点容量有限，受硬件限制 image.png

存储节点池化，动态扩缩容 image.png

4.2 分布式数据库-解决弹性问题

image.png

4.3 分布式数据库-解决性价比问题

image.png

4.4 分布式数据库—More to Do

  1. 现有数据库往往支持单写（同一时间，同一数据，仅有一位用户可以对数据操作），如何支持多人同时写入
  2. 池化实现磁盘弹性，如何实现内存弹性
  3. 事务算法和模型优化

新技术演进

1 概览

软件架构变更：Bypass OS kernel

AI增强：智能存储格式转换

新硬件革命：存储介质变更；计算单元变更；网络硬件变更

2 SPDK

Bypass OS kernel已经成为一种趋势

SPDK（Storage Performance Development Kit）:

  1. Kernel Space -> User Space：避免syscall带来的性能损耗，直接从用户态访问磁盘

  2. 中断->轮询：磁盘性能提高后，中断次数随之上升，不利于IO性能；SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能

  3. 无锁数据结构：使用Lock- free queue，降低并发时的同步开销

3 AI & Storage

AI领域相关技术，如Machine Learning在很多领域：如推荐、风控、视觉领域都证明了有效性

image.png

表的数据在存储时，有行存和列存两种形式，两种形式各有优劣，AI决策可以帮助我们实时的混合使用行存和列存，适应一些动态的业务

4 高性能硬件

RDMA网络

传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但性能不是最佳

RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少cpu开销

Persistent Memory

在NVMe SSD和Main Memory间有一种全新的存储产品：Persistent Memory

  1. IO延时介于SSD和Memory之间，约百纳秒级

  2. 可以用作易失性内存（memory mode），也可以用作持久化介质（app- direct）

可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

CPU/GPU/DPU

  1. CPU：从multi-core走向many-core

  2. GPU：强大的算力和越来越大的显存空间

  3. DPU：异构计算，减轻CPU的workload

总结

本篇文章是对课堂知识的一次整理，通过对存储与数据库系统的学习，我了解了目前使用的各种存储系统以及分布式数据库系统在互联网业务中的优势和进步空间。当然，目前梳理课堂的知识仅仅是数据库知识的冰山一角，想要在未来的程序开发中熟练使用数据库，还需要进一步学习。

avatar
文章
阅读
粉丝