这是我参与「第五届青训营」伴学笔记创作活动的第 15 天。

01. 经典案例

一条数据从产生，到数据流动，最后持久化的全生命周期。

数据的持久化验证数据的合法性-修改内存-写入存储介质
潜在的问题

02. 存储 & 数据库简介

什么是存储系统，什么是数据库系统？

一个提供了读写、控制类接口，内个够安全有效地把数据持久化的软件，就可以成为存储系统。

2.1 存储系统 - 系统特点

性能敏感
容易受硬件影响
代码既简单又复杂

存储器层级结构

数据怎么从应用到存储介质

缓存很重要
拷贝很昂贵，应尽量减少

RAID技术

Q：单机存储系统怎么做到高性能/高性价比/高可靠性？
A：R(edundant) A(rray) of I(nexpensive) D(isks)

RAID出现的背景：

单块大容量磁盘的价格>多块小容量磁盘
单块磁盘的写入性能<多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全

RAID 0

多块磁盘简单组合
数据条带化存储，提高磁盘带宽
没有额外的容错设计

RAID 1

一块磁盘对应一块额外镜像盘
真实空间利用率仅50%
容错能力强

RAID 0 + 1

结合了RAID 0和RAID 1
真实空间利用率仅50%
容错能力好，写入带宽好

2.2 数据库

关系型数据库、非关系型数据库

关系（Relation）又是什么？

Edgar.F.Codd于1970提出【关系模型】

关系 = 集合 = 任意元素组成的若干有序偶对
反映了事物间的关系

关系代数 = 对关系作运算的抽象查询语言

交、并、笛卡尔积

SQL = 一种domain specific language = 方便人类阅读的关系代数表达形式

关系型数据库特点

关系型数据库是存储系统，但在存储之外，又发展出其他能力
结构化数据友好、支持事务（ACID）、支持复杂查询语言

非关系型数据库特点

非关系型数据库也是存储系统，但一般不要求严格的结构化
半结构化数据友好、可能支持事务（ACID）、可能支持复杂查询语言

2.3 数据库 vs 经典存储 - 结构化数据管理

事务能力

复杂查询能力

03. 主流产品剖析

3.1 单机存储 - 概览

本地文件系统

Linux经典哲学：一切皆为文件
Linux文件系统两大数据结构：Index Node & Directory Entry

key-value存储

常见使用方式：put(k, v) & get(k)
常见数据结构：LSM-Tree，某种程度牺牲读性能，追求写入性能

3.2 分布式存储 - 概览

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

HDFS

堪称大数据时代的基石
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：

支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高

Ceph

开源分布式存储系统里的【万金油】
核心特点：

一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法（HASH+权重+随机抽签）

3.3 单机数据库 - 概览

单机数据库 = 单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库

商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸

非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

交互方式各不相同
schema相对灵活
SQL（子集）和“事务”

3.4 单机数据库 - 非关系型数据库

ElasticSearch

面向【文档】存储
文档可序列化成JSON，支持嵌套
存在【index】，index = 文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构 & 算法
支持RESTFUL API，也支持弱SQL交互

MongoDB

面向【文档】存储
文档可序列化成JSON/BSON，支持嵌套
存在【collection】，collection = 文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SQL

Redis

数据结构丰富（hash表，set，zset，list）
C语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cli/多语言SKD交互

Elasticsearch使用案例

支持模糊搜索，关联度算法

3.5 从单机到分布式数据库

容量、弹性、性价比
解决容量问题：Storage Pool，通过网络进行交互，存储节点池化，动态扩缩容

青训Day15：存储&数据库｜青训营笔记