存储和数据库

1. 数据的持久化

1. 校验数据的合法性

2. 修改内存（用高效的数据结构组织数据）

3. 写入存储介质（以寿命 & 性能友好的方式写入硬件）

2. 存储系统

• 提供读写，控制类接口，能够安全有效地把数据持久化的软件

1. RAID技术

单机存储系统要做到高性能/高性价比/高可靠性 -> R(edundant) A(rray) of I(nexpensive) D(isk)

3. 数据库

• 关系：任意元素组成的若干有序偶对
• 关系代数：对关系做运算的抽象查询语言
• SQL：一种DSL（Domain Specific Language）：方便人阅读的关系代数表达形式

1. 关系型数据库

• 可以看成存储系统

• 结构化系统友好

• 支持事务（ACID）

  原子性（Atomicity） 原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 一致性（Consistency） 事务前后数据的完整性必须保持一致。 隔离性（Isolation） 事务的隔离性是多个用户并发访问数据库时，数据库为每一个用户开启的事务，不能被其他事务的操作数据所干扰，多个并发事务之间要相互隔离。 持久性（Durability） 持久性是指一个事务一旦被提交，它对数据库中数据的改变就是永久性的，接下来即使数据库发生故障也不应该对其有任何影响

• 支持复杂查询语言

4. 主流产品剖析

1. 单机存储

• 单个计算机结点上的存储软件系统，一般不涉及网络交互

• 本地文件系统

  • Linux文件系统的两大数据结构：Index Node & Directory Entry
  • Index Node：记录文件元数据，inode是文件的一个唯一标识，会被存储到磁盘上
  • Directory Entry：记录文件名、inode指针，层级关系(parent)

• key-Value存储

  • 常见使用方式：put(k,v) & get(k)
  • 常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能

2. 分布式存储

• 在单机存储基础上实现了分布式协议，涉及大量网络交互

• HDFS

  • 特点
    • 支持海量数据存储
    • 高容错性
    • 弱POSIX语义
    • 使用普通x86服务器，性价比高

• Ceph

  • 特点
    • 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
    • 数据写入采用主被复制模型
    • 数据分布模型（一个萝卜（备份数据）一个坑（某台服务器））采用CRUSH算法

3. 单机数据库 - 关系型数据库 & 非关系型数据库

关系型数据库：以Oracle和Mysql居多

非关系型数据库：MongoDB，Redis，ElasticSearch

• 关系型数据库一般直接使用SQL交互

  而非关系数据库交互方式都不一样

4. 分布式数据库

• 容量问题（相比于单机数据库）

  存储空间池化

• 弹性问题

• 性价比问题

5. 新技术推进

• 软件架构变更
• AI增强
• 新硬件革命
  • 存储介质变更
  • 计算单元变更