带你认识存储&数据库 ｜ 青训营笔记

用户4955575447946
94 阅读4分钟
  • 这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天

潜在的问题：

  • 数据库这么保证数据不丢？
  • 数据库这么处理多人同时修改的问题？
  • 为什么用数据库，除了数据库还能存到别的存储系统吗？
  • 数据库只能处理结构化数据吗？
  • 有哪些操作数据库的方式，要用什么编程语言？

1. 存储&数据库简介

1.1 存储系统

什么是存储系统？

  • 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以成为存储系统

系统特点：

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，既“简单”又“复杂”

数据怎么从应用到存储介质

  • 缓存很重要，贯穿整个存储体系
  • 拷贝很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

单机存储系统怎么做到高性能/高性价比/高可靠性？

  • R(edudant)A(rray)I(nexpensive)D(isks)

  • RAID出现的背景：

    • 单块大容量磁盘的价格>多块小容量磁盘
    • 单块磁盘的写入性能<多块磁盘的并发写入性能
    • 单块磁盘的容错能力有限，不够安全

  • RAID 0

    • 多块磁盘简单组合
    • 数据条带化存储，提高磁盘带宽
    • 没有额外的容错设计

  • RAID 1

    • 一块磁盘对应一块额外镜像盘
    • 真实空间利用率仅50%
    • 容错能力强

  • RAID 0 + 1

    • 结合了RAID 0和RAID 1
    • 真实空间利用率仅50%
    • 容错能力强，写入带宽好

1.2 数据库

关系型数据库特点：

关系型数据库是存储系统，但是在存储之外，又发展出其他能力。

  • 结构化数据友好
  • 支持事务（ACID）
  • 支持复杂查询语言

非关系型数据库特点：

非关系型数据库也是存储系统，但是一般不要求严格的结构化。

  • 半结构化数据友好
  • 可能支持事务（ACID）
  • 可能支持复杂查询语言

1.3 数据库vs经典存储

结构化数据管理：

  • 写入关系型数据库：以表形式管理
  • 写入文件：自行定义管理结构

事务能力：

凸显出数据库支持事务的优越性

  • 原子性（Atomicity） 原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。
  • 一致性（Consistency） 事务前后数据的完整性必须保持一致。
  • 隔离性（Isolation） 事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。
  • 持久性（Durability） 持久性是指一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来即使数据库发生故障也不应该对其有任何影响。

复杂查询能力

1.4 数据库使用方式

Everything is D(omain)S(pecific)L(anguage) --> maybe SQL

以SQL为例，要操作数据时，支持一下操作：

  • Insert
  • Update
  • Select
  • Delete
  • Where子句
  • GroupBy
  • OrderBy

要对数据定义做修改时，支持以下操作：

  • Create user
  • Create database
  • Create table
  • Alter table
  • ……

2. 主流产品剖析

2.1 单机存储

单个计算机节点上的存储软件系统，一般不涉及网络交互。

本地文件系统：

  • Linux经典哲学：一切皆文件
  • 文件系统的管理单元：文件
  • 文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
  • Linux文件系统的两大数据结构：Index Node & Directory Entry

key-value存储

  • 世间一切皆key-value——key是你的身份证，value是你的内涵:)
  • 常见使用方式：put(k,v) &get(k)
  • 常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能
  • 拳头产品：RocksDB

2.2 分布式存储

在单机存储基础上实现了分布式协议，涉及大量网络交互。

HDFS：堪称大数据时代的基石

背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐

核心特点：

  • 支持海量数据存储
  • 高容错率
  • 弱POSIX语义
  • 使用普通x86服务器，性价比高

Ceph：开源分布式存储系统里的万金油

核心特点：

  • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象

  • 数据写入采用主备复制模型

  • 数据分布模型采用CRUSH算法

    • HASH + 权重 + 随机抽签

2.3 单机关系型 数据库

单个计算机节点上的数据库系统。事务在单机内执行，也可能通过网络交互实现分布式事务。

关系型数据库的通用组件：

  • Query Engine——负责解析query，生成查询计划
  • Txn Manager——负责事务并发管理
  • Lock Manager——负责锁相关的策略
  • Storage Engine——负责组织内存/磁盘数据结构
  • Replication——负责主备同步
  • 关键内存数据结构：B-Tree、B+-Tree、LRU List等
  • 关键磁盘数据结构：WriteAheadLog（RedoLog）、Page

2.4 单机非关系型 数据库

  • 关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
  • 不管是否关系型数据库，大家都在尝试支持SQL（子集）和”事务“

2.5 分布式数据库

单机数据库遇到的问题：

  • 容量、弹性、性价比

解决容量问题：

  • Limited disk num：单点容量有限，受硬件限制
  • Storage Pool：存储节点池化，动态扩缩容

More to Do

  • 单写vs多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优化

3. 新技术演进

软件架构变更

  • Bypass OS kernel

AI增强

  • 智能存储格式转换

新硬件革命

  • 存储介质变更
  • 计算单元变更
  • 网络硬件变更
avatar
文章
阅读
粉丝