存储系统的学习笔记 | 青训营笔记

浮华512
137 阅读5分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天

一、一条数据从产生，到数据流动，最后持久化的全生命周期

周期步骤：

  • 校验数据的合法性（“小明”是否已存在?）

  • 修改内存（用高效的数据结构组织数据）

  • 写入存储介质（以寿命&性能友好的方式写入硬件）

潜在问题：

  • 数据库怎么保证数据不丢?
  • 数据库怎么处理多人同时修改的问题?
  • 为什么用数据库，除了数据库还能存到别的存储系统吗?
  • 数据库只能处理结构化数据吗?
  • 有哪些操作数据库的方式,要用什么编程语言?

二、数据库和存储系统简介

一个简单的定义：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

存储器的层级结构

image.png

数据怎么从应用到存储介质

  • 「缓存」很重要，贯穿整个存储体系--不同软件的访问力度不同，并且这样可以使软件与硬件更加友好的交流。
  • 「拷贝」很昂贵，应该尽量减少---消耗CPU资源，关键路径需要减少拷贝
  • Disk硬件设备五花八门，需要有抽象统一的接入层，防止硬件换了，上层还需要重构。

RAID技术

Q∶单机存储系统怎么做到高性能/高性价比/高可靠性?

A : R(edundant) A(rray) of K(nexpensive) D(isks)

RAID出现的背景︰

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能（至今成立）
  • 单块磁盘的容错能力有限，不够安全（毫无疑问）

【例如】

  • RAID 0：多块磁盘简单组合、数据条带化存储,提高磁盘带宽、没有额外的容错设计
  • RAID 1：一块磁盘对应一块额外镜像盘、真实空间利用率仅50%、容错能力强
  • 上述两个可以结合起来，例如四块硬盘，两个0两个1.这样就具备他们所有 的优势了

领域定义

关系：关系 = 集合 = 任意元素组成的若干有序偶对（反映了事物间的关系）

关系代数 = 对关系作运算的抽象查询语言

  • 交、并、笛卡尔积……

SQL = 一种D(omain) S(pecific) L(anguage)(领域专门语言) = 方便人类阅读的关系代数表达形式

关系型数据库与非关系型数据库

【定义】关系型数据库是存储系统,但是在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务(ACID)
    • A(tomicity)，原子性。事务内的操作要么全做，要么不做
    • C(onsistency)，一致性。事务执行前后，数据状态是一致的（例如A转500给B，那么AB的转入和转出必须一致，不能多钱少钱）
    • l(solation)，隔离性。可以隔离多个并发事务，避免影响
    • D(urability)，持久性。事务一旦提交成功，数据保证持久性
  • 支持复杂查询语言

【定义】非关系型数据库也是存储系统,但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务(ACID)
  • 可能支持复杂查询语言

【为何使用数据库】如果用数据库，可以直接表形式管理，但如果使用文件，还需要像协议一样取描述自行定义管理结构。

三、主流的存储&数据库系统架构

单机存储

本地文件系统

  • 文件系统的管理单元︰文件

  • 文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口

  • Linux文件系统的两大数据结构: Index Node & Directory Entry

    • Index Node：记录文件元数据，如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了

    • Directory Entry：记录文件名、inode指针，层级关系(parent)等。dentry是内存结构，与inode的关系是N:1(hardlink的实现)

key-value

  • 常见使用方式: put(k, v)& get(k)
  • 常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
  • 拳头产品:RocksDB

分布式存储

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

HDFS

时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HDFS核心特点︰

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器，性价比高

Ceph

Ceph的核心特点∶

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法（为了提高可靠性--HASH +权重＋随机抽签）

单机数据库

单机数据库=单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库

商业产品Oracle称王,开源产品MySQL&PostgreSQL称霸

非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

  • 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
  • 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”
  • MongoDB
    • 面向「文档」存储
    • 文档可序列化成JSON/BSON，支持嵌套
    • 存在「collection」, collection =文档的集合
    • 存储和构建索引能力依赖wiredTiger引擎
    • 4.0后开始支持事务(多文档、跨分片多文档等)
    • 常用client/SDK交互，可通过插件转译支持弱SQL
  • Redis
    • 数据结构丰富(hash表、set、zset、list)c语言实现，超高性能
    • 主要基于内存,但支持AOF/RDB持久化
    • 常用redis-cli/多语言SDK（库）交互

分布式数据库

由三个问题引出：

解决容量问题

image.png

解决弹性问题

image.png

解决性价比问题

image.png

难题

  • 单写vs多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优化
avatar
文章
阅读
粉丝