存储 | 青训营笔记

56 阅读1分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天。

存储系统

什么是存储系统? image.png

存储系统特点:

  • 作为后端软件的底座,高性能
  • 软件架构容易受硬件影响
  • 代码既简单又复杂

存储器:

存储器层级结构: image.png

数据怎么从应用到存储介质?

image.png 缓存

RAID技术

image.png

数据库

  • 关系型数据库
  • 非关系型数据库

数据库的事务特性:ACID

image.png

数据库VS经典存储:

  • 结构化数据管理
  • 支持事务
  • 复杂查询能力

主流产品剖析

单机存储

本地文件系统

Linux:一切皆文件

image.png

key-value存储

常见数据结构:LSM-Tree

分布式存储

image.png

分布式文件系统HDFS

Ceph

开源分布式存储系统里的万金油

image.png

单机数据库

关系型数据库

image.png

image.png

非关系型数据库

image.png

ES:

image.png

mongoDB:

image.png

Redis:

image.png

从单机到分布式数据库

单机的问题:

  • 容量
  • 弹性
  • 性价比

容量:单点容量有限,受硬件限制。-》 存储节点池化,动态扩缩容。 弹性: CPU资源紧张-》扩容,搬迁全量数据 CPU资源又不需要那么多了-》缩容 性价比:CPU利用率很低,浪费严重-》使用共享存储池,不需要扩CPU。

更多的挑战:

  • 多写
  • 存储池对磁盘进行了弹性伸缩,现在要考虑内存弹性
  • 分布式事务优化

新技术

新技术演进-概述

  • 软件架构变更:Bypass OS kernel
  • AI增强
  • 新硬件革命:存储介质,计算单元,网络硬件变更