存储与数据库(2) | 青训营笔记

20 阅读2分钟

接上一部分

从单机到分布式数据库

来源于单机数据库对容量、弹性、性价比的高要求,从而诞生了分布式数据库

容量?

单体数据库通过本地文件系统提供的文件接口,往存储介质上读写文件。但是单点容量有限,受硬件限制。随着业务的不断增多,提出了池化的技术,在池中有很多虚拟机组成,存储池通过网络与我们的数据库进行交互,数据库不需要关注下面的存储容量是否足够,让我们的存储池软件自己在达到阈值之后自动添加节点,Database完全不用感知存储池的具体细节。

弹性?

有一个客户需要一个小规格的数据库即可,之后随着业务发展,CPU资源紧张,业务读取写入速度慢,需要升级数据库升级硬件来解决问题。我们把CPU从16核升级到32个核,但是扩容还是一个很漫长的过程。又过了一段时间,业务不受欢迎了,也不需要这么高级的设备了,如果要进行缩容,原来的众多数据无法全部写入小的存储介质。池化存储系统就能解决扩缩容的感知问题。

性价比?

存储介质不支持的时候需要扩容,但是CPU无法支持。提高CPU后,CPU利用率极大降低。我们通过存储池就可以很好的解决这个问题。

More to Do

单写VS多写?

从磁盘弹性到内存弹性?

分布式的事务优化?

新的存储数据库技术

软件架构变更(ByPass OS pernel),Ai增强(智能存储格式转换),新硬件革命(存储介质,计算单元,网络硬件)

SPDK

ByPass OS pernel趋势

image.png

AI & Storage

高性能硬件

RDMA网络,Persistant memory,可编程交换机,CPU/GPU/DPU