存储&数据库 | 青训营笔记

这是我参与「第五届青训营」伴学笔记创作活动的第12天

简介

存储系统

概览

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

特点

• 作为后端软件的底座，性能敏感
• 存储系统代码，即简单又复杂
• 存储系统软件架构，容易受硬件影响

RAID

单机存储系统怎么做到高性能/高性价比/高可靠性？

R(edundant) A(rray) of I(nexpensive) D(isks)

RAID出现的背景：

• 单块大容量磁盘的价格 > 多块小容量磁盘
• 单块磁盘的写入性能 < 多块磁盘的并发写入性能
• 单块磁盘的容错能力有限，不够安全

数据库

• 关系型数据库：存储系统，但在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务(ACID)
  • 支持复杂查询语言

• 非关系型数据库：也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务
  • 可能支持复杂查询语言

主流产品剖析

单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

• 本地文件系统
• KV存储：RocksDB

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

• 分布式文件系统：HDFS
• 分布式对象存储：Ceph

单机数据库

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

• 关系型数据库：Oracle、MySQL、PostgreSQL

• 非关系型数据库：MongoDB、Redis、Elasticsearch

  • MongoDB

    • 面向文档存储
    • 文档可序列号成JSON/BSON，支持嵌套
    • 存在collection，collection = 文档的集合
    • 存储和构建索引能力依赖wiredTiger引擎
    • 4.0后开始支持事务(多文档、跨分片文档等)
    • 常用client/SDK交互，可通过插件转译支持弱SQL

  • Redis

    • 数据结构丰富(hash表、set、zset、list)
    • C语言实现，超高性能
    • 主要基于内存，但支持AOF/RDB持久化
    • 常用redis-cli/多语言SDK交互

  • Elasticsearch

    • 面向文档存储
    • 文档可序列号成JSON，支持嵌套
    • 存在index，index = 文档的集合
    • 存储和构建索引能力依赖Lucene引擎
    • 支持大量搜索数据结构&算法
    • 支持RESTFUL API，也支持弱SQL交互