这是我参与「第三届青训营 -后端场」笔记创作活动的的第2篇笔记
存储系统
什么是存储系统:
一个提供了读写、控制类接口,能够安全有效地把数据持久化地软件,就可以称为存储系统
系统特点
作为后端软件地底座:性能敏感;存储系统软件架构:容易受硬件影响;存储系统代码,既简单又复杂
数据怎么从应用到存储介质
RAID技术
单机存储系统怎么做到高性能/高性价比/高可靠性
-
多块磁盘简单组合
-
数据条带化存储,提高磁盘带宽
-
没有额外地容错设计
-
一块磁盘对应一块额外镜像盘
-
真实空间利用率仅50%
-
容错能力强
关系型数据库特点
关系型数据库是存储系统,但是在存储之外,又发展出其他能力:结构化数据友好,支持事务,支持复杂查询语言
非关系型数据库特点
非关系型数据库也是存储系统,但是一般不要求严格地结构化:半结构化数据友好,可能支持事务,可能支持复杂查询语言
单机存储--key-value存储
数据结构LSM-Tree 某中国程度上牺牲读性能,追求写入性能
分布式存储--HDFS
支持海量数据存储,高容错性,弱POSIX语义,使用普通x86服务器,性价比高
分布式存储--Cepth
一套系统支持对象接口、块接口、文件接口,但是一切皆对象;数据写入采用主备复制模型;数据分布模型采用CRUSH算法
新技术演进--AI&Storage
AI领域相关技术,如Machine Learning 在很多领域:如推荐、风控、视觉领域证明了有效性