这是我参与「第五届青训营」伴学笔记创作活动的第15天
1、存储&数据库简介
1.1、存储系统
1.1.1、存储系统概览
- 什么是存储系统?
- 一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
1.1.2、存储系统——系统的特点
- 作为后端软件的底座，性能敏感
- 存储系统软件架构，容易受硬件影响
- 存储系统代码,既“简单”又“复杂”
1.1.3、存储器层级结构
1.1.4、RAID技术
RAID技术是由许多台磁盘机或光盘机按一定的规则，如分条（Striping）、分块（Declustering）、交叉存取（Interleaving）等组成一个快速，超大容量的外存储器子系统。
RAID出现的背景:
- 单块大容量磁盘的价格 > 多块小容量磁盘
- 单块磁盘的写入性能 < 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
1.2、数据库
1.2.1、数据库概览
数据库分为关系型数据库和非关系型数据库，也就是常说的 SQL 和 NoSQL。那么关系又是什么呢？
- 关系=集合=任意元素组成的若干有序偶对反应了事物间的关系
- sQL = 一种DSL=方便人类阅读的关系代数表达形式
1.2.2、关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力。
- 结构化数据友好
- 支持事务(ACID)
- 支持复杂查询语言
- 优点：
- 容易理解:二维表结构是非常贴近逻辑世界一个概念，关系模型相对网状、层次等其他模型来说更容易理解;
- 使用方便:通用的SQL语言使得操作关系型数据库非常方便;
- 易于维护:丰富的完整性(实体完整性、参照完整性和用户定义的完整性)天大减低了数据冗余和数据不—致的概率;
- 支持SQL，可用于复杂的查询。
1.2.3、非关系型数据库特点
非关系型数据库也是存储系统,但是一般不要求严格的结构化
- 半结构化数据友好
- 可能支持事务(ACID)
- 可能支持复杂查询语言
- 优点：
- 无需经过sql层的解析，读写性能很高;
- 基于键值对，数据没有耦合性，容易扩展;
- 存储数据的格式:nosql的存储格式是key ,value形式、文档形式、图片形式等等，文档形式、图片形式等等，而关系型数据库则只支持基础类型。
2、主流产品
2.1、单机存储
2.1.1、单机存储概览
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互。
2.1.2、本地文件系统
2.1.3、key-value存储
2.2、分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互。
2.2.1、HDFS
HDFS指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
HDFS核心特点:
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
2.2.2、Ceph
Ceph是⼀种分布式存储系统，可以将多台服务器组成⼀个超⼤集群，把这些机器中的磁盘资源整合到⼀块⼉，形成⼀个⼤的资源池（⽀持PB级别，大厂用得多），然后按需分配给客户端应⽤使⽤。
Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
2.3、单机数据库
2.3.1、单机数据库概览
单机数据库=单个计算机节点上的数据库系统事务在单机内执行，也可能通过网络交互实现分布式事务。
2.3.2、关系型数据库
2.3.3、非关系型数据库
- MongoDB
- 面向「文档」存储
- 文档可序列化成JSON/BSON，支持嵌套
- 存在「collection],collection=文档的集合
- 存储和构建索引能力依赖wiredTiger引擎
- 4.0后开始支持事务（多文档、跨分片多文档等)
- 常用client/SDK交互，可通过插件转译支持弱SQL
- Redis
- 数据结构丰富(hash表、set、zset、list)
- C语言实现,超高性能
- 主要基于内存，但支持AOF/RDB持久化
- 常用redis-cli/多语言SDK交互
- Elasticsearch
- 面向「文档」存储
- 文档可序列化成JSON，支持嵌套
- 存在「 index] , index =文档的集合
- 存储和构建索引能力依赖Lucene引擎
- 实现了大量搜索数据结构&算法
- 支持RESTFUL APl，也支持弱SQL交互
