ByteDance青训营

152 阅读2分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第2篇笔记

存储系统

什么是存储系统:

一个提供了读写、控制类接口,能够安全有效地把数据持久化地软件,就可以称为存储系统

系统特点

作为后端软件地底座:性能敏感;存储系统软件架构:容易受硬件影响;存储系统代码,既简单又复杂

数据怎么从应用到存储介质

image.png

RAID技术

单机存储系统怎么做到高性能/高性价比/高可靠性

  • 多块磁盘简单组合

  • 数据条带化存储,提高磁盘带宽

  • 没有额外地容错设计

  • 一块磁盘对应一块额外镜像盘

  • 真实空间利用率仅50%

  • 容错能力强

关系型数据库特点

关系型数据库是存储系统,但是在存储之外,又发展出其他能力:结构化数据友好,支持事务,支持复杂查询语言

非关系型数据库特点

非关系型数据库也是存储系统,但是一般不要求严格地结构化:半结构化数据友好,可能支持事务,可能支持复杂查询语言

单机存储--key-value存储

数据结构LSM-Tree 某中国程度上牺牲读性能,追求写入性能

分布式存储--HDFS

支持海量数据存储,高容错性,弱POSIX语义,使用普通x86服务器,性价比高

分布式存储--Cepth

一套系统支持对象接口、块接口、文件接口,但是一切皆对象;数据写入采用主备复制模型;数据分布模型采用CRUSH算法

新技术演进--AI&Storage

AI领域相关技术,如Machine Learning 在很多领域:如推荐、风控、视觉领域证明了有效性

新技术演进--高性能硬件

image.png