存储与数据库 | 青训营笔记

行下星暇
87 阅读3分钟

前言

对于后端，存储与数据库关系到数据的记录和使用。

目录

  1. 认识存储与数据库
    • 经典案例
    • 存储&数据库简介
  2. 主流存储产品剖析
    • 主流产品剖析
  3. 存储与数据库的新技术演进
    • 新技术演进

1. 认识存储与数据库

1.1 经典案例

【数据产生】

包括用户名、密码、账户等等

【数据流动】

用户数据--->后端服务器--->数据库

【数据持久化】

校验数据的合法性--->修改内存--->写入存储介质

  • 修改内存用高效的数据结构组织数据
  • 写入介质以寿命&性能友好的方式

【潜在问题】

image.png

1.2 存储&数据库简介

【存储系统概览】

定义：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统\color{orange}{存储系统}

用户、介质、内存、网络

【系统特点】

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构,容易受硬件影响
  • 存储系统代码,既“简单”又“复杂”

【存储器层级结构】

image.png

【数据从应用到存储介质的方法】

image.png
  • 「缓存」很重要，贯穿整个存储体系
  • 「拷贝」很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

【RAID技术】

RAID的出现背景：

  • 单块大容量磁盘的价格>多块小容量磁盘
  • 单块磁盘的写入性能<多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

RAID 0：

  • 多块磁盘简单组合
  • 数据条带化存储,提高磁盘带宽
  • 没有额外的容错设计

RAID 1：

  • 一块磁盘对应一块额外镜像盘
  • 真实空间利用率仅50%
  • 容错能力强

RAID 0 + 1：

  • 结合了RAIDO和RAID 1
  • 真实空间利用率仅50%
  • 容错能力强,写入带宽好

1.3 数据库

数据库分为关系型数据库和非关系型数据库

Edgar.F.Codd于1970年提出「关系模型」

  • 关系=集合=任意元素组成的若干有序偶对反应了事物间的关系
  • 关系代数=对关系作运算的抽象查询语言
  • SQL=一种DSL=方便人类阅读的关系代数表达形式

【关系向数据库的特点】

关系型数据库是存储系统,但是在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务(ACID)
  • 支持复杂查询语言

【非关系型数据库】

非关系型数据库也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务(ACID)
  • 可能支持复杂查询语言

【数据库的事务能力】

凸显出数据库支持「事务」的优越性事务具有:

  • A(tomicity)，事务内的操作要么全做，要么不做
  • C(onsistency)，事务执行前后，数据状态是一致的
  • l(solation)，可以隔离多个并发事务，避免影响
  • D(urability)，事务一旦提交成功，数据保证持久性

复杂查询能力上，数据库更灵活、简洁

2. 主流存储产品剖析

2.1单机存储

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

【本地文件系统】

linux经典哲学：一切皆文件

  • 文件系统的管理单元︰文件
  • 文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
  • Linux文件系统的两大数据结构:Index Node & Directory Entry

lndex Node：

记录文件元数据,如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了

Directory Entry：

记录文件名、inode指针，层级关系(parent)等 dentry是内存结构，与inode的关系是N:1(hardlink的实现)

【key-value存储】

key——身份证，value——内涵

  • 常见使用方式: put(k, v) & get(k)
  • 常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
  • 拳头产品:RocksDB
image.png

2.2分布式存储

【HDFS】

时代背景:专用的高级硬件很贵，同时数据存量很大,要求超高吞吐

HDFS核心特点:

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器,性价比高
image.png

【Ceph】

Ceph :开源分布式存储系统里的「万金油」\color{orange}{「万金油」}

Ceph的核心特点∶

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法
image.png

2.3单机关系型数据库

  • 单机数据库=单个计算机节点上的数据库系统
  • 事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库：MySQL、PostgreSQL

image.png
  • 关键内存数据结构:B-Tree、B+-Tree、LRU List等
  • 关键磁盘数据结构:WriteAheadLog(RedoLog). Page
image.png

2.4单机非关系型数据库

MongoDB、Redis、Elasticsearch

  • 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活
  • 不管是否关系型数据库,大家都在尝试支持SQL(子集)和“事务”
image.png

2.5分布式数据库

背景：容量、弹性、性价比

容量问题：

  • 单点容量有限、受硬件限制
  • 存储节点池化，动态扩缩容

解决方式： 多写、内存弹性、分布式事务

3. 存储与数据库的新技术演进

新技术演进

  • 软件架构变更

    • Bypass OS kernel

  • Al增强

    • 智能存储格式转换

  • 新硬件革命

    • 存储介质变更
    • 计算单元变更
    • 网络硬件变更

【SPDK】

image.png

【AI&Storage】

AI领域相关技术，如Machine Learning在很多领域∶如推荐、风控、视觉领域证明了有效性

【高性能硬件】

image.png
avatar
文章
阅读
粉丝