这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天。
存储系统
什么是存储系统?
存储系统特点:
- 作为后端软件的底座,高性能
- 软件架构容易受硬件影响
- 代码既简单又复杂
存储器:
存储器层级结构:
数据怎么从应用到存储介质?
缓存
RAID技术
数据库
- 关系型数据库
- 非关系型数据库
数据库的事务特性:ACID
数据库VS经典存储:
- 结构化数据管理
- 支持事务
- 复杂查询能力
主流产品剖析
单机存储
本地文件系统
Linux:一切皆文件
key-value存储
常见数据结构:LSM-Tree
分布式存储
分布式文件系统HDFS
Ceph
开源分布式存储系统里的万金油
单机数据库
关系型数据库
非关系型数据库
ES:
mongoDB:
Redis:
从单机到分布式数据库
单机的问题:
- 容量
- 弹性
- 性价比
容量:单点容量有限,受硬件限制。-》 存储节点池化,动态扩缩容。 弹性: CPU资源紧张-》扩容,搬迁全量数据 CPU资源又不需要那么多了-》缩容 性价比:CPU利用率很低,浪费严重-》使用共享存储池,不需要扩CPU。
更多的挑战:
- 多写
- 存储池对磁盘进行了弹性伸缩,现在要考虑内存弹性
- 分布式事务优化
新技术
新技术演进-概述
- 软件架构变更:Bypass OS kernel
- AI增强
- 新硬件革命:存储介质,计算单元,网络硬件变更