带你认识存储的本质 - 状态|青训营笔记

51 阅读2分钟

image.png

这是我参与「第五届青训营 」笔记创作活动的的第14天

本节导航

  • 存储 & 数据库简介
  • 主流产品剖析
  • 新技术演进

存储 & 数据库简介

  • 存储系统概览

    • 三种存储方式

      • DAS(直连式存储)、SAN(网络存储系统)、NAS(存储区域网络
    • 存储系统特点

      • 速度快、存取时间可为ns级;
      • 集成化,存储单元所占的空间小,用来寻找存储单元地址的译 码电路和数据、地址缓冲寄存器以及存储单元都制作在同一芯片中, 体积特别小;
      • 非破坏性读出,特别是半导体静态存储器,读操作不破坏原来 的信息,而且不需要再生,既缩短了读写周期,又简化了控制操作。
    • 存储器层级结构

      存储器系统是一个具有不同容量、成本和访问时间的存储设备的层次结构。每一层于下一层相比都拥有较高的速度和较低延迟性,以及较小的容量。
      ​
      存储器层次结构,对应用程序的性能有着巨大的影响。理解系统是如何将数据在存储器层次结构中上下移动,可写出更符合系统运行的应用程序,运行更快。
      
    • 单机存储栈

    • RAID技术

      • RAID(redundant array of independent disks)技术,独立磁盘冗余阵列,是提高磁盘可靠性和可用性的一种技术。
  • 数据库系统概览

    • 关系型数据库特点

      • 形式化的数学模型
      • 使用关系代数来描述数据及数据间的关系
      • 数据结构的逻辑排布方式同它们的物理存储方式相分离
      • 消除数据异常,保证数据一致性
    • 非关系型数据库特点

      • 存储非结构化的数据,比如文本、图片、音频、视频。
      • 表与表之间没有关联,可扩展性强。
      • 保证数据的最终一致性。遵循 BASE(碱)理论。 Basically Available(基本 可用); Soft-state(软状态); Eventually Consistent(最终一致性)。
      • 支持海量数据的存储和高并发的高效读写。
      • 支持分布式,能够对数据进行分片存储,扩缩容简单。
    • 数据库 vs 经典存储

    • 数据库使用方式

主流产品剖析

  • 单机存储产品

    • 单机文件系统
    • 单机key-value存储
  • 分布式存储产品

    • HDFS
    • Ceph
  • 单机数据库产品

    • 关系型数据库 —— PG、MySQL
    • 非关系型数据库 —— ES、MongoDB、Redis
    • Elasticsearch使用案例
  • 分布式数据库产品

    • 问题与挑战
    • 解决方案

新技术演进

  • SPDK: 是一套存储开发套件,专门为专用设备(NVME)设计
  • 人工智能:是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
  • 新硬件加速