存储与数据库 | 青训营

Sec流念
153 阅读5分钟

数据的流动

be9cc681f8a9aabe0b0dca7a1ac3c55.png

数据的持久化

  • 校验数据的合法性
  • 修改内存【用高效的数据结构组织数据】
  • 写入存储介质【以寿命&性能友好的方式写入硬件】
数据库怎么保证数据不丢？
  1. 定期备份数据
  2. 设置自动保存功能
  3. 调整服务器的参数
  4. 使用高可用性架构
数据库怎么处理多人同时修改的问题？
  1. 使用事务：eg：在多用户并发访问的情况下，事务机制可以避免数据竞争以及修改的数据不一致性等情况。在MySQL中，可以使用START TRANSACTION、COMMIT和ROLLBACK来操作事务。
  2. 加锁处理：对于一些需要进行强制读写操作的数据，我们可以采用加锁的方式来进行修改，保证数据的完整性和准确性。
  3. 分库分表：将数据划分到多个不同的库或者表中，可以减少单个库或者表的数据量，提高系统的性能和并发访问量。

存储系统

什么是存储系统？

存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备（硬件）和算法（软件）所组成的系统。

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统


计算机存储系统的核心是存储器，存储器是计算机中必不可少、用来存储程序和数据的记忆设备

系统的特点

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，即“简单”又“复杂”


存储器层级结构

16f57ad897ed19ea342f75b40273a6e.png

  • 第一层：通用寄存器堆 第二层：指令与数据缓冲栈 第三层：高速缓冲存储器 第四层：主储存器（DRAM） 第五层：联机外部储存器（硬磁盘机） 第六层：脱机外部储存器（磁带、光盘存储器等）


    这就是存储器的层次结构~~~ 主要体现在访问速度~~~

数据怎么从应用到存储介质

  • 缓存很重要，贯穿整个存储体系
  • 拷贝很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层


RAID技术

单机存储系统怎么做到高性能/高性价比/高可靠性的？

单机存储系统包括存储硬件和存储软件。存储硬件又包含存储介质、存储控制器、设备固件；存储软件栈层次则更为复杂，以Linux为例包括：存储设备驱动层、 块设备层(Block Layer)、可选的虚拟块设备层(Device Mapper)、文件系统层等。如下图所示，各个层次可进一步细分，整个存储栈非常复杂庞大。存储系统的可靠性依赖各层硬件和软件的可用性，另一方面也包括存储系统中数据的可靠性。


  • RAID出现的背景：

    单块大容量磁盘的价格>多块小容量磁盘

    单块磁盘的写入性能<多块磁盘的并发写入性能

    单块磁盘的容错能力有限，不够安全

  • RAID 0

    多块磁盘简单组合

    数据条带化存储，提高磁盘带宽

    没有额外的容错设计

  • RAID 1

    一块磁盘对应一块额外镜像盘

    真实空间利用率仅50%

    容错能力强

  • RAID 0+1

    结合了RAID 0和RAID 1

    真实空间利用率仅50%

    容错能力强，写入带宽好


数据库

数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

  • 关系型数据库
  • 非关系型数据库

关系（Relation）是什么

Edgar.F.Codd于1970年提出【关系模型】


关系 = 集合 = 任意元素组成的若干有序偶对

反应了事物间的关系


关系代数 = 对关系作运算的抽象查询语言

  • 交、并、笛卡尔积

SQL = 一种DSL = 方便人类阅读的关系代数表达形式

关系型数据库的特点

关系型数据库是存储系统，但是在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务
  • 支持复杂查询语言

非关系型数据库的特点

非关系型数据库也是存储系统，但是一般不要严格的结构化

  • 半结构化数据友好
  • 可能支持事务（ACID）
  • 可能支持复杂查询语言

数据库VS经典存储

结构化数据管理

02b4690fe40d315b5bae050e79f0965.png

事务能力

凸显出数据库支持【事务】的优越性

事务具有：

  • A(tomicity)，事务内的操作要莫全做，要么不做
  • C(onsistency),事务执行前后，数据状态是一致的
  • I(solation),可以隔离多个并发事务，避免影响
  • D(urability),事务一旦提交成功，数据保证持久性

复杂查询能力

数据库的使用方式


以SQL为例，要操作数据时，支持以下操作：

  • Insert
  • Update
  • Select
  • Delete
  • Where子句
  • GroupBy
  • OrderBy

要对数据定义做修改时，支持以下操作：

  • Create user
  • Create database
  • Craete table
  • Alter table

主流产品剖析

  1. 单机存储
  2. 分布式存储
  3. 单机关系型数据库
  4. 单机非关系型数据库
  5. 分布式数据库

单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

本地文件系统

Linux哲学：一切皆文件

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口

Linux文件系统的两大数据结构：Index Node & Directory Entry

  • Index Node

    记录文件单元数据，如id、大小、权限、磁盘位置等

    inode是一个文件的唯一标识，会存储到磁盘上

    inode的总数在格式化文件系统时就固定了

  • Directory Entry

    记录文件名、inpde指针，层级关系（parent）等

    dentry是内存结构，与inode的关系是N：1（hardlink的实现）

avatar
文章
阅读
粉丝