目录
3. 主流产品剖析
主流产品剖析
单机存储:key-value存储,世间一切皆key-value -key是你身份证,value是你的内涵。#RA: purik, v) & ger(k) 常见数据结构:LSM-Tree, 某种程度上牺牲读性能,追求写入性能。拳头产品:RocksDB.
分布式存储:概览,分布式存储一 在单机存储基础上实现了分布式协议,涉及大量网络交互。分布式文件系统 ,分布式对象存储。HDFS,HDFS:堪称大数据时代的基石。时代背景:专用的高级硬件很责,同时数据存量很大,要求超高吞吐 HDFS核心特点: 支持海量数据存储 •高容错性 •弱POSIX语义 ,使用普通x86服务器,性价比高 Management Node. HDFS核心特点:支持海量数据存储,高容错性,弱POSIX语义,使用普通x86服务器,性价比高。Ceph, 开源分布式存储系统里的「万金油』。Ceph的核心特点:一套系统支持对象接口、块接口、文件接口,但一切皆对象。数据写入采用主备复制模型,数据分布模型采用CRUSH算法(HASH+ 权重+随机抽签)。
单机数据库:概览,单机数据库一 单个计算机节点上的数据库系统。车务在单机内执行,也可能通过网络交互实现分布式事务。关系型数据库,非关系型数据库。关系型数据库,商业产品Oracle称王,开源产品MySOL & Postgresal 称霸。关系型数据库的通用组件:Query Engine • ——负责解析query,生成查询计划。Txn Manager - 负责事务并发管理。Lock Manager 一负责锁相关的策略。Storage Engine 一负责组织内存/磁盘数据结构。Replication - 负责主备同步。非关系型数据库,MongoDB. Redis, Elasticsearch. 关系型数据库一般直接使用SOL交互 而非关系型数据库交互方式各不相同。非关系型数据库的数据结构千奇百怪 没有关系约束后,schema相对灵活。不管是否关系型数据库,大家都在 尝试支持SQL(子集)和”事务“。面向「文档』存储 文档可序列化成ISON,支持滋套 存在 「indexJ,index二文档的集合 存储和构建家引能力依换Lucene引l肇 文现了大景嫂介数据结构& 算法 支持RESTFUL AP1, 也支持弱SaL交互。