存储与数据库系统初探｜ 青训营笔记

steak0107
90 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第18天。

案例引入

一个经典案例：一条数据是如何被持久化的

image.png

image.png

存储&数据库简介

存储系统

系统概览

一个提供了读写、控制类的接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

系统特点

  • 作为后代软件的底座，性能敏感
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，既“简单”又“复杂”

存储器层级结构

image.png

数据怎么从应用到存储介质

image.png

  • 缓存很重要，贯穿整个存储体系
  • 拷贝很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

RAID技术

由Redundant Array of Inexpensive Disk技术来实现对高性能/高性价比/高可靠性的要求。

出现的背景

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

经典组合

  • RAID 0

    • 多块磁盘简单组合
    • 数据条带化存储，提高磁盘带宽
    • 没有额外的容错设计

  • RAID 1

    • 一块磁盘对应一块额外镜像盘
    • 真实空间利用率仅50%
    • 容错能力能

  • RAID 0 + 1

    • 结合了RAID0 和RAID1
    • 真实空间利用率仅50%
    • 容错能力强，写入带宽好

数据库

关系是什么？

关系 = 集合 = 任意元素组成的若干有序偶对，反应了事物间的关系。

关系代数 = 对关系作运算的抽象查询语言(交、并、笛卡尔积...)

SQL = 一定DSL(领域专用语言) = 方便人类阅读的关系代数表达形式

关系型数据库

关系型数据库是存储系统，但在存储之外，又发展出其他能力：

  • 结构化数据友好
  • 支持事务
  • 支持复杂查询语言

非关系型数据库

非关系型数据库也是存储系统，但是一般不要求严格的结构化，特点是：

  • 半结构化数据友好
  • 可能支持事务
  • 可能支持复杂查询语言

数据库 vs 经典存储

结构化数据管理

image.png

数据库具有支持事务的优越性

image.png

复杂查询能力

image.png

Everything is Domain Specific Language -> SQL

主流产品剖析

单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互。 经典案例：本地文件系统 单机key-value存储

本地文件系统

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如Ext/2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口

在Linux的哲学“一切皆文件”下，Linux的文件系统有两大核心数据结构：Index Node & Directory Entry

Index Node

  • 记录文件元数据节点，如id、大小、权限、磁盘位置等
  • inode是一个文件的唯一标识，会被存储到磁盘上
  • inode的总数在格式化文件系统时就固定了

Directory Entry

  • 记录文件名、inode指针、层级关系(parent)等
  • dentry是内存结构，与inode的关系是N:1(hardlink的实现)

key-value

  • 常见使用方式：put(k,v) & get(k)
  • 常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能

image.png 世间的一切也可以由key-value构成，key是身份证，而value是内涵!

分布式存储

分布式存储 = 在单机存储上实现了分布式协议，涉及大量网络通信，分为两类：

  • 分布式文件系统
  • 分布式对象存储

HDFS

堪称大数据时代的基石！
时代背景：

  • 专用的高级硬件很贵
  • 数据存量很大
  • 要求超高吞吐

HDFS核心特点

  • 支持海量数据存储
    • 以文件形式提供给用户读写
  • 高容错性
    • 使用的是普通的硬件，但软件架构能支持
  • 弱POSIX语义
  • 使用普通*86服务器，性价比高

image.png

Ceph

开源分布式存储系统的里的万金油

Ceph的核心特点

  • 一套系统支持对象接口、快接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法
    • CRUSH算法 = HASH+权重+随机抽取 给数据副本确定落地存储的服务器

image.png

单机关系型数据库

  • 单机数据库 = 单个计算机节点上的数据库系统
  • 事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库

商业产品Oracle称王，开源产品MySQL & PosygreSQL称霸

关系型数据库的通用组件

  • Query Engine - 负责解析query，生成查询计划
  • Txn Manager - 负责事务并发管理
  • Lock Manager - 负责锁相关的策略
  • Storage Engine - 负责组织内存/磁盘数据结构
  • Replication - 负责主备同步

关键点

  • 关键内存数据结构
    • B-Tree、B+-Tree、LRU List等
  • 关键磁盘数据结构
    • WriteAheadLog (RedoLog)、Page

image.png

单机非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

  • 关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
  • 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”

Elasticsearch

  • 面向文档存储
  • 文档可序列化为JSON，支持嵌套
  • 存在index，index = 文档的集合
  • 支持模糊搜索
  • 存储和构建索引能力依赖Lucene引擎
  • 实现了大量搜索数据结构&算法
  • 支持RESTFUL API，也支持弱SQL交互

一个案例：

image.png

MongoDB

  • 面向文档存储
  • 文档可序列化JSON/BSON，支持嵌套
  • 存在collection，=文档的集合
  • 存储和构建索引能力依赖wiredTiger引擎
  • 4.0后开始支持事务(多文档、跨分片多文档等)
  • 常用client/SDK交互，可以通过插件转译支持弱SQL

Redis

  • 数据结构丰富(5种)
  • C语言实现，超高性能
  • 主要基于内存，但支持AOF/RDB持久化
  • 常用redis-cli/多语言SDK交互

分布式数据库

背景原因：追求容量、弹性、性价比

  • 解决容量问题
    • 存储节点化，动态扩缩容

image.png

  • 解决弹性问题
    • 使用池化存储

image.png

  • 解决性价比问题
    • 池化存储

image.png

More to Do

  • 单写 vs 多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优化

以上内容若有不正之处，恳请您不吝指正！

avatar
文章
阅读
粉丝