什么是存储系统，什么是数据库系统？
存储系统：
含义：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。
存储系统一系统特点：
作为后端软件的底座，性能敏感
存储系统软件架构，容易受硬件影响
存储系统代码，既“简单”又“复杂"
存储系统——数据怎么从应用到存储介质
「缓存」很重要，贯穿整个存储体系
「拷贝」很昂贵，应该尽量减少
硬件设备五花八门，需要有抽象统一的接入层
存储系统一RAID技术存储系统一RAID技术
单机存储系统怎么做到高性能/高性价比/高可靠性？
R(edundant)A(rray)of I(nexpensive)D(isks)
RAID出现的背景：
单块大容量磁盘的价格>多块小容量磁盘
单块磁盘的写入性能<多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全.
RAID 0
多块磁盘简单组合，数据条带化存储，提高磁盘带宽,没有额外的容错设计
RAID 1
一块磁盘对应一块额外镜像盘,真实空间利用率仅50%,容错能力强
RAID 0+1
结合了RAID0和RAID1，真实空间利用率仅50%，容错能力强，写入带宽好
数据库
数据库分为关系型数据库和非关系型数据库 关系(Relation)是什么？ Edgar..F.Codd于1970年提出「关系模型」 关系代数=对关系作运算的抽象查询语言 交、并、笛卡尔积…
关系二集合二任意元素组成的若干有序偶对 SQL=一种DSL=方便人类阅读的关系代数表达形式，反应了事物间的关系
数据库——关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力
结构化数据友好
支持事务(ACID)
支持复杂查询语言
数据库一非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
半结构化数据友好
可能支持事务(ACID)
可能支持复杂查询语言
数据库VS经典存储——事务能力
事务具有：
A(tomicity),事务内的操作要么全做，要么不做
C(onsistency),事务执行前后，数据状态是一致的
l(solation),可以隔离多个并发事务，避免影响
D(urability),事务一旦提交成功，数据保证持久性
主流产品剖析
单机存储
分布式存储
单机关系型数据库
单机非关系型数据库
分布式数据库
单机存储——本地文件系统
单机存储二单个计算机节点上的存储软件系统，一般不涉及网络交互。
Linux经典哲学：一切皆文件
文件系统的管理单元：文件
文件系统接口：文件系统繁多，如Et2/3/4,sysfs,rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构：Index Node&Directory Entry
Index Node：
记录文件元数据，如d、大小、权限、磁盘位置等 inode是一个文件的唯一标识，会被存储到磁盘上 inode的总数在格式化文件系统时就固定了。
Directory Entry：
记录文件名、inode:指针，层级关系(parent))等 dentry,是内存结构，与inode的关系是N:l(hardlink的实现)
单机存储一key-value存储
世间一切皆key-value key是你身份证，value是你的内涵：)
常见使用方式：put(k,v)&get(k)
常见数据结构：LSM-Tree,某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB
分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
分布式存储——HDFS
HDFS:堪称大数据时代的基石
HDFS核心特点：
支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高
分布式存储一Ceph
Ceph:开源分布式存储系统里的「万金油」 Ceph的核心特点：
一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法(HASH+权重+随机抽签)
单机数据库一概览
单机数据库=单个计算机节点上的数据库系统 事务在单机内执行，也可能通过网络交互实现分布式事务
单机数据库——关系型数据库
商业产品Oracle称王，开源产品ySQL&PostgreSQL称霸
关系型数据库的通用组件：MySQL
Query Engine：负责解析query,生成查询计划
Txn Manager：负责事务并发管理
Lock Manager:负责锁相关的策略
Storage Engine：负责组织内存/磁盘数据结构
Replication-：负责主备同步
关系型数据库的通用组件：PostgreSQL
关键内存数据结构：B-Tree、B+-Tree、LRU List等
关键磁盘数据结构：WriteAheadLog(RedoLog)、Page
单机数据库一非关系型数据库
MongoDB、Redis、Elasticsearch.三足鼎立
关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”
Elasticsearch
面向「文档」存储 文档可序列化成SON,支持嵌套
存在「index」，index=文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法
支持RESTFU儿API,也支持弱SQL交互
MongoDB
面向「文档」存储
文档可序列化成JSON/BSON,支持嵌套
存在「collection.」，collection=文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SQL
Redis
数据结构丰富(hash表、set、Zset、list)
C语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cli/多语言SDK交互
总结
存储系统
块存储：存储软件栈里的底层系统，接口过于朴素
文件存储：日常使用最广泛的存储系统，接口十分友好，实现五花八门
对象存储：公有云上的王牌产品，immutable语义加持
key-value存储：形式最灵活，存在大量的开源/黑盒产品
数据库系统
关系型数据库：基于关系和关系代数构建，一般支持事务和SQL访问，使用体验友好的存储产品
非关系型数据库：结构和访问方式灵活，针对不同的场景有不同的针对性产品
分布式架构
数据分布策略：决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能
数据复制协议：影响IO路径的性能、机器故障场景的处理方式
分布式事务算法：多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计.
