认识存储与数据库 4 | 青训营

83 阅读2分钟

目录

3. 主流产品剖析

4. 新技术演进

主流产品剖析

单机数据库:概览,单机数据库一 单个计算机节点上的数据库系统。车务在单机内执行,也可能通过网络交互实现分布式事务。关系型数据库,非关系型数据库。关系型数据库,商业产品Oracle称王,开源产品MySOL & Postgresal 称霸。关系型数据库的通用组件:Query Engine • ——负责解析query,生成查询计划。Txn Manager - 负责事务并发管理。Lock Manager 一负责锁相关的策略。Storage Engine 一负责组织内存/磁盘数据结构。Replication - 负责主备同步。非关系型数据库,MongoDB. Redis, Elasticsearch. 关系型数据库一般直接使用SOL交互 而非关系型数据库交互方式各不相同。非关系型数据库的数据结构千奇百怪 没有关系约束后,schema相对灵活。不管是否关系型数据库,大家都在 尝试支持SQL(子集)和”事务“。面向「文档』存储 文档可序列化成ISON,支持滋套 存在 「indexJ,index二文档的集合 存储和构建家引能力依换Lucene引l肇 文现了大景嫂介数据结构& 算法 支持RESTFUL AP1, 也支持弱SaL交互。面向「文档』存储 文档可序列化成JSON/B,文档可序列化成JSON/BSON,支持嵌套,存在 TcollectionJ.collection二 文档的集合,存储和构建家引能力依粮wiredTiger引綮,4.0后开始支持市务 (多文档、跨分片多文档等),常用alient/sox 交互,可通过插件转译支持弱SOL。数据结构串富(hash表,sgt . zso1. list)。数据结构串富(hash表,sgt . zso1. list),C语言实现,起高性能,主要式于内存,但支持AOF/RD8特久化,第用rodis-cli/名语言SDK交互。

从单机到分布式数据库:单机数据库遇到了哪些问题& 挑战,需要我们引入分布式架构来解决? 容 弹性,性价比。

分布式数据库:More to Do, 单写vs多写,从磁盘弹性到内存弹性,分布式事务优化。

新技术演进

概览:软件架构变更,Bypass OS kernel. AI增强,智能存储格式转换。新硬件革命,存储介质变更,计算单元变更,网络硬件变更。SPDK, Bypass Os kernel己经成为一种趋势。Kerel Space •> User Space 避免syscal带来的性能损耗,賁接从用户态访问磁盘 中断>轮询 磁盘性能提高后,中断次致随之上升,不利于10性能 SPDK poller可以鄉定特定的cpu核不断轮询,减少cs 无锁数据结构 使用Lock-free queue, 降低并发时的同步开销。

Al & Storage: Al领域相关技术,如Machine Learning在很多领域:如推荐、风控、视觉领域证明了有效性,在Storege领域,AI能给我们带来什么改变。