【数据库】存储 & 数据库 对比

KiraFenvy
211 阅读4分钟

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第29天，点击查看活动详情

1. 前言

  • 数据流动：用户数据产生->后端服务器->数据库->其他系统
  • 数据持久化：校验数据合法性（比如是否重复）->修改内存->写入存储介质
  • 一些问题：
    • 数据库怎么保证数据不丢?
    • 数据库怎么处理多人同时修改的问题?
    • 为什么用数据库,除了数据库还能存到别的存储系统吗?
    • 数据库只能处理结构化数据吗?
    • 有哪些操作数据库的方式,要用什么编程语言?

2.存储&数据库简介

2.1 存储系统

系统概览

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

用户 介质 内存 网络

存储系统特点：性能敏感、软件架构容易受硬件影响、代码IO分支简单，异常处理分支复杂

数据从应用到存储介质
Linux的IO过程用户态到内核态再到磁盘：buffer用来对软硬件友好的方式进行交互 image.png

RAID技术

磁盘阵列（Redundant Arrays of Independent Disks，RAID） RAID出现的背景：

  • 单块大容量磁盘的价格>多块小容量磁盘
  • 单块磁盘的写入性能<多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

磁盘阵列是由很多块独立的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 

磁盘阵列还能利用同位检查（Parity Check）的观念，当数组中任意一个硬盘发生故障时，仍可读出数据。在数据重构时，可将数据经计算后重新置入新硬盘中。

从RAID 0开始的发展参考baike.baidu.com/item/%E7%A3…

2.2 数据库

关系型数据库

关系=集合=任意元素组成的若干有序偶对 关系代数=对关系作运算的抽象查询语言 关系数据库式存储系统，但是有发展出其他能力：

  • 结构化数据友好
  • 事务(ACID）
  • 支持复杂查询语言SQL

非关系型

  • 半结构化数据友好
  • 可能支持事务(ACID）
  • 可能支持复杂查询语言SQL

数据库 vs 经典存储 ——结构化数据管理

事务能力

  • A(tomicity)，事务内的操作要么全做，要么不做
  • C(onsistency)，事务执行前后，数据状态是一致的（主要指全局状态，比如金钱之和）
  • I(solation)，可以隔离多个并发事务，避免影响
  • D(urability)，事务一旦提交成功，数据保证持久性

3. 主流产品剖析

3.1 单机存储产品

本地文件系统

  • 文件系统的管理单元:文件
  • 文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
  • Linux文件系统的两大数据结构:Index Node & Directory Entry
    • Index Node
      • 记录文件元数据，如id、大小、权限、磁盘位置等
      • inode是一个文件的唯一标识，会被存储到磁盘上
      • inode的总数在格式化文件系统时就固定了
    • Directory Entry
      • 记录文件名、inode指针，层级关系(parent)等
      • dentry是内存当中的数据结构，与inode的关系是N:1(hardlink的实现)

单机 key-value 存储

常见使用方式: put(k, v)& get(k)
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能

LSM-tree利用了磁盘顺序读写比随机读写快的特性，顺序append数据，而且越老的数据level越深（越老的数据访问次数越少） image.png

3.2 分布式存储产品

分布式文件系统 HDFS

HDFS:堪称大数据时代的基石

时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HDFS核心特点︰

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器，性价比高

Management Node管控面，有点类似于i-node image.png

分布式对象存储 Ceph

Ceph的核心特点:

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH（hash+权重+随机抽签）算法，决定数据存储服务器

3.3 单机数据库产品

关系型数据库 —— PG、MySQL

关系型数据库的通用组件︰

  • Query Engine ——负责解析query，生成查询计划
  • Txn Manager——负责事务并发管理
  • Lock Manager ———负责锁相关的策略
  • Storage Engine ——负责组织内存/磁盘数据结构
  • Replication ——负责主备同步（灾备）
  • 关键磁盘数据结构:WriteAheadLog (RedoLog)、Page
  • 关键内存数据结构︰B-Tree、B+-Tree、LRU List等

image.png

非关系型数据库 —— ES（Elasticsearch）、MongoDB、Redis

Elasticsearch

  • 面向「文档」存储
  • 文档可序列化成JSON，支持嵌套
  • 存在「index] , index=文档的集合
  • 存储和构建索引能力依赖Lucene引擎
  • 实现了大量搜索数据结构&算法
  • 支持RESTFUL API，也支持弱SQL交互

MongoDB

  • 面向「文档」存储
  • 文档可序列化成JSON/BSON，支持嵌套
  • 存在「collection] , collection =文档的集合
  • 存储和构建索引能力依赖wiredTiger引擎
  • 4.0后开始支持事务(多文档、跨分片多文档等)
  • 常用client/SDK交互，可通过插件转译支持弱SQL

Redis

没有像前两者一样去往关系型数据库上靠

  • 数据结构丰富(hash表、set、zset、list)
  • C语言实现，超高性能
  • 主要基于内存,但支持AOF/RDB持久化
  • 常用redis-cli/多语言SDK交互

3.4 分布式数据库产品

问题与挑战:（磁盘）容量、弹性（扩缩容）、性价比

解决：存储节点池化，共享存储池动态扩缩容，DB不需要感知存储细节

还可以进行的优化：单写vs多写、从磁盘弹性到内存弹性、分布式事务优化

4. 新存储数据库技术演进

  • 软件架构变更SPDK（Storage Performance Development Kit）
    • Kernel Space-> User Space直接把原先内核态的IO操作等放入用户态，避免系统调用带来的性能损耗
    • 中断->轮询 磁盘性能越来越强，中断次数越来越大，不利于IO性能，SPDK poller可以绑定特定CPU核进行轮询，减少cs
    • 无锁数据结构 使用Lock-free queue,降低并发时的同步开销
  • 人工智能
    • AI决策行存和列存，适应动态变化特点
  • 新硬件加速
    • 01.RDMA网络
      • 传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换,足够通用但性能不是最佳
      • RDMA是kernel bypass的流派，不经过传统的网络协议栈,可以把用户态虚拟内存映射给网卡，减少拷贝开销,减少cpu开销
    • 02.Persistent Memory
      • 在NVMe SSD和Main Memory间有一种全新的存储产品:Persistent Memory
      • IO时延介于SSD和Memory之间，约百纳秒量级
      • 可以用作易失性内存(（memory mode),也可以用作持久化介质(app-direct)
    • 03.可编程交换机
      • P4 Switch.配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下,可以实现缓存―致性协议等
    • 04.CPU/GPU/DPU
      • CPU:从multi-core走向many-core
      • GPU:强大的算力&越来越大的显存空间.
      • DPU:异构计算，减轻CPU的workload
avatar
文章
阅读
粉丝