这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天
存储和数据库简介
什么是存储系统？
一个简单的定义是：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
面对海量存储或遇到需要计算逻辑的业务场景，单机数据库就无法满足，需要分布式的存储系统。
数据是如何从应用到存储介质
「缓存」很重要，贯穿整个存储体系
「拷贝」很昂贵，应该尽量减少
单机存储系统怎么做到高性能/高性价比/高可靠性?
独立硬盘冗余阵列R(edundant) A(rray) of K(nexpensive) D(isks)，简称 磁盘阵列 。利用虚拟化存储技术把多个硬盘组合起 来，成为一个或多个硬盘阵列组，目的为提升性能或数据冗余 RAID 0
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强
RAID 0+1
- 结合了RAID 0和RAID 1
- 真实空间利用率仅50%
- 容错能力强，写入带宽好
- 如有4块磁盘，两两分为两组RAID 0，再用这两个RAID0组建一个RAID1
数据库事务
事务具有:
- A(tomicity)，事务内的操作要么全做，要么不做
- C(onsistency)，事务执行前后，数据状态是一致的
- I(solation)，可以隔离多个并发事务，避免影响
- D(urability)，事务一旦提交成功，数据保证持久性
主流数据库产品
单机存储
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互
下面介绍两个经典的单机存储
本地文件系统
文件系统的管理单元︰文件
文件系统接口∶文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构: Index Node & Directory Entry
index Node
记录文件元数据，如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了
Directory Entry
记录文件名、inode指针，层级关系(parent)等。dentry是内存结构,与inode的关系是N:1(hardlink的实现)
key-value存储
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
产品:RocksDB
分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
介绍两个分布式存储系统
分布式文件系统
HDFS
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树
DataNode 负责管理用户的文件数据块
要读取数据时，先从NameNode处获取数据位置，再到DataNode处读取
Ceph
- 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法
分布式对象存储系统
单机关系型数据库
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
可分为关系型数据库，非关系型数据库
关系型数据库
- Query Engine ——负责解析query，生成查询计划
- Txn Manager ——负责事务并发管理
- Lock Manager———负责锁相关的策略
- Storage Engine ——负责组织内存/磁盘数据结构
- Replication ——负责主备同步
单机非关系型数据库
关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”
MongoDB、Redis、Elasticsearch最具代表性
Elasticsearch
- 面向文档存储
- 文档可序列化成JSON支持嵌套
- 存在「index] , index=文档的集合
- 存储和构建索引能力依赖Lucene引擎
- 实现了大量搜索数据结构&算法
- 支持RESTFUL API，也支持弱SQL交互
MongoDB
- 面向「文档」存储
- 文档可序列化成JSON/BSON，支持嵌套
- 存在「collection] , collection=文档的集合
- 存储和构建索引能力依赖wiredTiger引擎
- 4.0后开始支持事务(多文档、跨分片多文档等)
- 常用client/SDK交互，可通过插件转译支持弱SQL
Redis
- 主要基于内存,但支持AOF/RDB持久化
- 常用redis-cli/多语言SDK交互
分布式数据库
单机数据库遇到了哪些问题&挑战?
容量，弹性，性价比
解决容量问题
解决弹性问题
