存储 & 数据库 ｜ 青训营笔记

Icecreamhan
49 阅读7分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天

今日学习的内容有：

  • 存储 & 数据库简介
  • 主流产品剖析
  • 总结

存储 & 数据库简介

什么是存储系统

答：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

系统的特点

  1. 作为后端软件的底座，性能敏感；
  2. 存储系统软件架构，容易受硬件影响
  3. 存储系统 代码，既"简单"又"复杂"

数据怎么从应用到存储介质

  • 【缓存】很重要，贯穿整个存储体系
  • 【拷贝】 很昂责，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接 入层

RAID 技术

单机存储系统怎么做到高性能 /高性价比 / 高可靠性?

R(edundant) A(rray) of I(nexpensive) D(isks)

RAID 出现的背景:

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

RAID 0

  • 多块磁盘简单组合
  • 数据条带化存储，提高磁盘带宽
  • 没有额外的容错设计

RAID 1

  • 一块磁盘对应一块额外镜像盘
  • 真实空间利用率仅 50%
  • 容错能力强

RAID 0+1

  • 结合了 RAID 0 和 RAID 1
  • 真实空间利用率仅 50%
  • 容错能力强，写入带宽好

什么是数据库系统

数据库和存储系统不一样吗？

关系型数据库 & 非关系数据库

  • 关系 (Relation)又是什么?
    • Edgar.F.Codd 于 1970 年提出【关系模型】
    • 关系 = 集合 = 任意元素组成的若干有序偶对反应了事物间的关系
    • 关系代数 = 对关系作运算的抽象查询语言
      • 交、并、笛卡尔积----
    • SOL = 一种 DSL = 方便人类阅读的关系代数表达形式

关系型数据库的特点

关系型数据库是存储系统，但是在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务(ACID)
  • 支持复杂查询语言

非关系型数据库的特点

非关系型数据库也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务(ACID)
  • 可能支持复杂查询语言

数据库 VS 经典存储

事务能力

凸显出数据库支持【事务】的优越性

事务具有

  • A(tomicity)，事务内的操作要么全做，要么不做
  • C(onsistency)，事务执行前后，数据状态是一致的
  • I(solation)，可以隔离多个并发事务，避免影响
  • D(urability)，事务一旦提交成功，数据保证持久性

主流产品剖析

单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互；

本地文件系统

Linux经典哲学：一切皆文件

  • 文件系统的管理单元: 文件
  • 文件系统接口: 文件系统繁多，如 Ext2/3/4，sysfs， rootfs 等，但都遵循 VFS 的统一抽象接口
  • Linux 文件系统的两大数据结构: Index Node & Directory Entry
  1. Index Node

记录文件元数据，如 id、大小、权限、磁盘位置等，inode 是一个文件的唯一标识，会被存储到磁盘上，inode 的总数在格式化文件系统时就固定了

  1. Directory Entry

记录文件名、inode 指针，层级关系(parent)等；dentry 是内存结构，与 inode 的关系是 N:1(hardlink的实现）

key-value存储

**世间一切皆key-value —— key 是你身份证，value 是你的内涵）

  • 常见使用方式：put(k, v) & get(k)
  • 常见数据结构: LSM-Tree，某种程度上牺牲读性能，追求写入性能
  • 拳头产品: RocksDB

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互；

分布式文件系统

HDFS: 堪称大数据时代的基石

时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HDFS 核心特点:

  • 支持海量数据存储
  • 高容错性
  • 弱 POSIX 语义
  • 使用普通 x86 服务器，性价比高

分布式对象存储

Ceph: 开源分布式存储系统里的【万金油】

Ceph 的核心特点:

  • 一套系统支持对象接口、块接口、文件接口, 但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法
    • CRUSH ：HASH + 权重 + 随机抽签

单机数据库

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

  • 关系型数据库
  • 非关系型数据库

单机关系型数据库

商业产品 Oracle 称王，开源产品 MySQL & PostgreSQL 称霸

关系型数据库的通用组件:

  • Query Engine ——负责解析 query. 生成查询计划
  • Txn Manager—— 负责事务并发管理
  • Lock Manager ——负责锁相关的策略
  • Storage Engine ——负责组织内存/磁盘数据结构
  • Replication ——负责主备同步
  • 关键内存数据结构: B-Tree、B+-Tree、LRU List等
  • 关键磁盘数据结构: WriteAheadLog (RedoLog)、Page

单机非关系型数据库

MongoDB、Redis、Elasticsearch 三足鼎立

关系型数据库一般直接使用 SQL 交互，而非关系型数据库交互方式各不相同；

非关系型数据库的数据结构千奇百怪，没有关系约束后，schema 相对灵活；

不管是否关系型数据库，大家都在尝试支持 SQL(子集)和“事务”

Elasticserch

  • 面向【文档】存储
  • 文档可序列化成 JSON，支持嵌套
  • 存在【index】 ，index = 文档的集合
  • 存储和构建索引能力能力依赖 Lucene 引擎
  • 实现了大量搜索数据结构 & 算法
  • 支持 RESTFUL API，也支持弱 SQL 交互

跟 RDBMS 相比，ES天然能做【模糊搜索】，还能自动算出关联程度。

MongoDB

  • 面向【文档】 存储
  • 文档可序列化成 JSON/BSON，支持嵌套
  • 存在【collection】，collection = 文档的集合
  • 存储和构建索引能力依赖 wiredTiger 引擎
  • 4.0 后开始支持事务（多文档、跨分片多文档等）
  • 常用client/SDK 交互，可通过插件转译支持弱 SQL

Redis

  • 数据结构丰富 (hash 表、set、zset、list)
  • C 语言实现，超高性能
  • 主要基于内存，但支持 AOF/RDB 持久化
  • 常用 redis-cli/ 多语言 SDK 交互

分布式数据库

单机数据库遇到的挑战：容量、弹性、性价比

总结

存储系统

  • 块存储:存储软件栈里的底层系统，接口过于朴素
  • 文件存储: 日常使用最广泛的存储系统，接口十分友好，实现五花八门
  • 对象存储: 公有云上的王牌产品，immutable语义加持
  • key-value 存储: 形式最灵活，存在大量的开源/黑盒产品

数据库系统

  • 关系型数据库：基于关系和关系代数构建的，一般支持事务和 SQL 访问，使用体验友好的存储产品
  • 非关系型数据库：结构灵活，访问方式灵活，针对不同场景有不同的针对性产品分

分布式架构

  • 数据分布策略：决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能
  • 数据复制协议:影响 IO 路径的性能、机器故障场景的处理方式
  • 分布式事务算法: 多个数据库节点协同保障一个事务的 ACID 特性的算法，通常基于 2pc 的思想设计
avatar
文章
阅读
粉丝