存储与数据库|青训营笔记

要变酷奥
20 阅读5分钟

这是我参与「第五届青训营 」笔记创作活动的第11天

1 经典案例

  • 数据产生： 比如新的APP第一次登录注册，需要输入自己的名字，密码等信息 image.png
  • 数据流程：上述产生一条用户信息，发送到后端服务器， 服务器将数据持久到数据库
  • 数据的持久化
    • 校验数据的合法性（用户是否存在） ->
    • 修改内存 （用高效的数据结构组织数据 ）->
    • 写入存储介质（以寿命&性能友好的方式写入硬件）

2 存储&数据库介绍

2.1 存储系统

提供了一个读写，控制类接口，能够安全有效的把数据持久化的软件，称为存储系统。

  • 系统特点

    • 作为后端软件的底座，性能敏感
    • 存储系统软件架构，容易受硬件影响
    • 存储系统代码，既要简单又要复杂

  • 存储器层级结构 image.png

  • 数据从应用到存储介质

    • 缓存很重要，贯穿整个存储介质
    • 拷贝很昂贵，应该尽量减少，拷贝过程会占CPU
    • 硬件设备五花八门，需要有抽象统一的接口 image.png

  • RAID技术

（Redundant Array of Inexpensive Disk） 出现背景

image.png

  • 技术
    • RAID0 多块磁盘简单组合 数据条带化存储 没有额外的容错设计
    • RAID1 多块磁盘组合，一块磁盘对应一块额外镜像盘 真实空间利用率50% 容错能力强
    • RAID0+1 结合0和1 真实空间利用率50% 容错能力好，写入带宽高

2.2 数据库

2.1.1 关系型数据库

关系模型

关系=集合=任意元素组成的若干有序偶对，反映了事物间的关系

关系代数=对关系做运算的抽象查询语言 交，并，笛卡尔积... SQL=方便人类阅读的关系代数表达形式

关系型数据库特点 关系型数据库是存储系统，存储功能之外，有其他能力

  • 结构化数据友好
  • 支持事务
  • 支持复杂查询语句
2.1.2 非关系型数据库

不要求严格的结构化

  • 半结构化友好
  • 可能支持事务
  • 可能支持复杂查询语句
对比

一条用户注册数据

image.png 存入关系型数据库，以表格的形式存储 image.png 写入文件，自行定义管理结构 比如一条数据的总长度，每个属性的长度等等 image.png

事务能力 事务具有ACID的能力

  • A(tomicity)原子性,事务内的操作要么全做要么不做
  • C(onsistency)一致性，事务执行前后，数据状态是一致的，比如转账，A给B转账100元，事务结束，要保证事务A的账户少100元，B的账户多100元
  • I(solation)，隔离性，多个并发事务之间互相隔离互不影响
  • D(urability)，持久性，事务一旦提交成功，数据保证持久性。

复杂查询能力。

  • 关系型数据库可以通过一条sql语句进行查询，简洁明了
  • 非关系型数据库需要写代码，遍历每一条数据，然后查看每一条数据。复杂。

3 主力产品剖析

3.1 单机存储

单个计算机节点上的存储软件系统，一般不涉及网络交互

  • 本地文件系统（linux经典哲学，一切皆文件 ）
    • 文件系统管理单元：文件
    • 文件系统接口：如Ext2/3/4,sysfs,rootfs等，但都遵循VFS的统一抽象接口
    • Linux文件系统两大数据结构
      • Index Node记录文件元数据，如ID，大小，权限，磁盘位置等，是文件的唯一标识
      • Directory 记录文件名，inode指针，层级关系等，dentry是内存结构，与inode的关系是N:1(hardLink的实现)
  • key-value存储
    • 常见使用方式：put(k,v)&get(k)
    • 常见数据结构：LSM-tree,某种程度上牺牲读性能，追求写入性能,
    • 拳头产品：RocksDB

image.png 无论在磁盘还是内存都是顺序写入。当内存中写入后，过一段时间会顺序写入到磁盘中。

3.2 分布式存储

在单机存储基础上实现了分布式协议，涉及到大量网络交互

  • 分布式文件系统-HDFS 大数据时代的基石，当时专用的高级硬件很贵，同时数据存储量大，要求超高吞吐量 HDFS核心特点
    • 支持海量数据存储
    • 高同错性
    • 弱POSIX语义
    • 使用普通x86服务器，性价比高

image.png

  • 分布式存储系统-Ceph
    • 一套系统支持对象接口，块接口，文件接口，但一切皆对象
    • 数据写入采用主备复制模型
    • 数据分布模型采用CRUSH算法

image.png

3.3 单机关系型数据库

单个计算机节点上的数据库系统

  • 关系型数据库

image.png 单机数据同步或者主备复制来进行容灾

image.png

3.4 单机非关系型数据库

  • 非关系型数据库

    • 非关系型数据库交互方式各不相同
    • 结构前几百怪，没有关系约束后，schema相对灵活
    • 尝试支持事务和SQL子集

  • Elasticsearch

    • 面向文档存储，
    • 文档可序列化为JSON，支持嵌套，
    • 存在【index】=文档集合，实现了大量的
    • 存储和构建索引能力依赖Lucene引擎
    • 实现了大量搜索数据结构&算法
    • 支持Restful API,也支持弱SQL交互

  • MongoDB

    • 面向文档存储 - 文档可序列化为JSON，支持嵌套， - 存在【collection】=文档集合 - 存储和构建索引能力依赖wiredTiger引擎 - 4.0后开始支持事务 - 常用Client/SDK交互，可通过插件转译支持弱SQL

  • Redis

    • 数据结构丰富（hash表，set,zset,list）
    • C 语言实现，性能高
    • 主要基于内存，但支持AOF和RDN持久化
    • 常用redis-cli和多语言SDK交互

3.5 分布式数据库

  • 解决容量问题

单点容量有限，受到硬件限制

image.png 存储节点池化，动态扩容缩容。 image.png

  • 解决弹性问题 image.png 池化技术可以很好的解决上述问题
  • 解决性价比问题

image.png

更多的扩展点

  • 单写&多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优化

新技术演进

新架构 新硬件 新理论 人工智能

avatar
文章
阅读
粉丝