存储-RAID技术

单机存储系统怎么做到高性能/高性价比/高可靠？

R(edundant)A(rray)I(nexpensive)D(isks)

RAID出现的背景：

• 单块大容量磁盘的价格 > 多块小容量磁盘
• 单块磁盘的写入性能 < 多块磁盘的并发写入性能
• 单块磁盘的容错能力有限，不够安全

RAID 0

• 多块磁盘简单组合
• 数据条带化存储，提高磁盘带宽
• 没有额外的容错设计

RAID 1

• 一块磁盘对应一块额外镜像盘
• 真实空间利用率仅50%
• 容错能力强

RAID 0+1

• 结合了RAID 0 和RAID 1
• 真是死空间利用率仅50%
• 容错能力强，写入带宽好

单机存储-本地文件系统

linux文件系统的两大数据结构：Index Node和Directory Entry

Index Node：记录文件元数据，如id、大小、权限、磁盘位置等，inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了

Directory Entry：记录文件名、inode指针，层级关系(parent)等，dentry是内存结构，与inode的关系是N : 1(hardlink的实现)

单机存储-Key-value存储

常见使用方式 put(k,v) get(k)

常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能

拳头产品：RocksDB

分布式存储-概览

分布式存储=在单机存储上实现了分布式协议，涉及大量网络交互

分布式存储-HDFS

时代背景：专用的高级硬件很贵，同时数据存量很大要求超高吞吐

HDFS核心特点：

• 支持海量数据存储
• 高容错性
• 弱POSIX语义
• 使用普通x86服务器，性价比高

分布式存储-Ceph

开源分布式存储系统里的(万金油)

核心特点

• 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
• 数据写入采用主备复制模型
• 数据分布模型采用CRUSH算法

单机数据库

单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

单机数据库-关系型数据库

关系型数据库的通用组件：

Query Engine -- 负责解析query，生成查询计划

Txn Manager--负责事务并发管理

Lock Manager -- 负责锁相关的策略

Sotrage Engine -- 负责阻止内存/磁盘数据结构

Replication -- 负责主备同步

关键内存数据结构：B-Tree，B+Tree，LRU List等

关键磁盘数据结构：WriteAheadLog(RedoLog)、Page

单机数据库-非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立