存储与数据库的新技术演进|青训营笔记
- 说到新的存储和数据库技术,这个新技术是指新的架构技术吗?还是指新的硬件技术,还是新的数据库理论?或者说要把人工智能引入到储数据库系统。关于新技术演进,以上的几个问题其实都是对的,也是我们现在在探索的几个方向。
- 第一个方向就是软件架构其实需要是需要一定的变更的,现有的存储和数据库系统的软件架构其实已经经历了很多年,没有大的一个革命性的变更,然后其中有一点就是我们还是沿用了或者说基于现有的这个操作系统内核,在这个操作系统内核上去进行开发。所以我们的很多存储数据库软件,它仍然是强依赖于我们操作系统内核的一些链路,这个近年来也是出现了很多,就是 Bypass OS kernel 的一些新的技术,这个是我们一个值得探讨,值得去重点探索的方向。
- 做存储数据库的人对硬件的变革往往是非常敏感,不仅要对存储硬件的变革敏感,还要对计算单元的变革比较敏感,还有网络硬件的变革也要比较敏感。那我们要做的可能是带有计算逻辑的分布式的存储系统,那这样的话整个链路上不仅要涉及存储介质,还要涉及这个计算单元,还要涉及网络硬件,所以硬件对于我们了解这个存储数据库系统来说也是很重要的。
- 高性能硬件在硬件领域的变革,在最近十年有很多这个新硬件的这个变革。首先就是 RDMA 网络,传统的网络协议站就基于 TCP/IP 的,这种传统的网络协议站往往会做到内核里面,但它性能并不是最佳的。然后 RDMA 网络也是种 Bypass OS kernel 的流派,它不会经过传统的网络协议站,而是它把很多工作都直接卸载到这个 RDMA 网卡里面,然后同时也可以把这个网卡内存这个映射到我们的用户态里面来减少我们整个链路上的拷贝开销,减少我们的 CPU 开销。