带你认识存储的本质 - 状态 | 青训营笔记

writiger
82 阅读5分钟

这是我参与「第五届青训营 」笔记创作活动的第15天

重点内容

  1. 经典案例
  2. 存储 & 数据库介绍
  3. 主流产品剖析
  4. 新技术演进

知识点介绍

经典案例

数据的产生

某天，小明同学下载了一个新的app。因为第一次登陆，所以进入app后需要注册一个新的账号

用户名：小明
密码：helloworld
密码提示问题：coding
...

于是，小明三下五除二地填好了资料，按下了【注册】按钮

就这样，数据就从无到有地产生了，并且在数十/数百毫秒内向APP的后端服务器飞奔而去

数据的流动

{
    "user_name":"小明",
    "password":"helloworld",
    "password_hint":"coding",
    ...
}

发向后端服务器再发向数据库

数据的持久化

  • 检验数据的合法性（“小明”是否已经存在
  • 修改内存（用高效的数据结构组织数据
  • 写入存储介质（以寿命&性能友好的方式写入硬件

潜在的问题

  • 数据库怎么保证数据不丢
  • 数据库怎么处理多人同时修改的问题
  • 为什么用数据库，除了数据库还能存到别的存储系统么
  • 数据库只能处理结构化数据么
  • 有那些操作数据库的方式，要用什么编程语言

存储系统

系统概览

  • 什么是存储系统

    一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

    • 用户
    • 介质
    • 内存（性能
    • 网络编程

系统特点

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，既简单又复杂

数据怎么从应用到存储介质

  • 【缓存】很重要，贯穿整个存储体系
  • 【拷贝】很珍贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

RAID技术

  • 单机存储系统怎么做到高性能/高性价比/高可靠性

    R(edundant) A(rray) of I(nexpensive) D(isks)

背景

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

RAID0

  • 多块磁盘的简单组合
  • 数据条带化存储，提高磁盘带宽
  • 没有额外的容错设计

RAID1

  • 一块磁盘对应一块额外镜像磁盘
  • 真是空间利用率仅50%
  • 容错能力强

RAID1+0

  • 结合了RAID0和RAID1
  • 真实空间利用率仅50%
  • 容错能力强，写入带宽好

难道数据库和存储系统不一样吗

关系是什么

关系 = 集合 = 任意元素组成的若干有序偶对，反应了事物之间的关系

SQL = 一种DSL = 方便人类阅读的关系代数表达形式

关系型数据库

关系型数据库是存储系统，但是在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务（ACID）
  • 支持复杂查询语言

非关系型数据库

非关系型数据库也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务（ACID）
  • 可能支持复杂查询语言

事务

  • Atomicity，事务内的操作要么全做，要么不做
  • Consistency，事务执行前后，数据的状态是一致的
  • Isolation，可以隔离多个并发事务，避免影响
  • Dutability，事务一旦提交成功，数据保证持久性

主流产品剖析

单机存储

概览：单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

本地文件系统

Linux 经典哲学：一切皆文件

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口

Linux文件系统的两大数据结构：

  • Index Node

    • 记录文件元数据如id、大小、权限、磁盘位置等
    • inode是一个文件的唯一标识，会被存储在硬盘上
    • inode的总数在格式化文件系统时就被固定了

  • Directory Entry

    • 记录文件名、inode指针、层级关系等
    • dentry是内存结构，与inode的关系是N : 1（hardlink的实现）

key-value存储

世间一切皆key-value

——key是你的身份证，value是你的内涵 ：）

常见的使用方式：put（k，v） & get（k）

常见的数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能

拳头产品：RocksDB

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

分布式文件系统

HDFS：堪称大数据时代的基石

  • 时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

HFDS核心特点：

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器，**性价比高

分布式对象存储

Ceph：开源分布式存储系统里的【万金油】

Ceph的核心特点：

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法（HASH+权重+随机抽签）

单机关系型数据库

商业产品Oracle称王，开源产品MySql & PostgreSQL称霸

关系型数据库的通用组件：

  • Query Engine——负责解析query，生成查询计划
  • Txn Manager——负责事务并发管理
  • Lock Manager——负责锁相关的策略
  • Storage Engine——负责组织内存/磁盘数据结构
  • Replication——负责主备同步

关键内存数据结构：B_Tee、B+-Tree、LRU List等

关键磁盘数据结构：WriteAheadLog（RedoLog）、Page

单机非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同；非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活；不管是否关系型数据库，大家都在尝试支持SQL（子集）和”事务“

  • Elasticsearch

    • 面向文档存储
    • 文档可序列化成JSON，支持嵌套
    • 存在【index】， index = 文档的集合
    • 存储和构建索引能力依赖Lucene引擎
    • 实现了大量搜索数据结构 & 算法
    • 支持RESTFUL API，也支持弱SQL交互

  • mongoDB

    • 面向文档存储
    • 文档可序列化成JSON/BSON，支持嵌套
    • 存在【collectiuon】，collection = 文档的集合
    • 存储和构建索引能力依赖wiredTiger引擎
    • 4.0后开始支持事务（多文档、跨分片多文档等）
    • 常用client/SDK交互，可通过插件转移支持弱SQL

  • Redis

    • 数据结构丰富（hash表、set、zset、list）
    • c语言实现，超高性能
    • 主要基于内存，但支持AOF/RDB持久化
    • 常用redis-cli/多语言SDK交互

分布式数据库

单机数据库遇到了哪些问题 & 挑战，需要我们引入分布式架构来解决

  • 容量
  • 弹性
  • 性价比

新技术演进

  • 软件架构变更：Bypass OS kernal

  • AI增强：智能存储格式转换

  • 新硬件革命

    • 存储介质变更
    • 计算单元变更
    • 网络硬件变更

avatar
文章
阅读
粉丝