这是我参与「第五届青训营 」伴学笔记创作活动的第 17 天

存储系统

系统概览

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

系统特点

• 作为后端软件的底座，性能敏感
• 存储系统软件架构，容易受硬件影响
• 存储系统代码,既“简单”又“复杂”

数据怎么从应用到存储介质

• 「缓存」很重要，贯穿整个存储体系
• 「拷贝」很昂贵，应该尽量减少
• 硬件设备五花八门，需要有抽象统一的接入层

事务的特点

• A(tomicity)，事务内的操作要么全做,要么不做
• C(onsistency)，事务执行前后，数据状态是一致的
• I(solation)，可以隔离多个并发事务，避免影响
• D(urability)，事务—旦提交成功,数据保证持久性

主流产品剖析

单机存储

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

本地文件系统

• 文件系统的管理单元︰文件
• 文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口Linux文件系统的两大数据结构: Index Node & Directory Entry

key-value存储

• 常见使用方式:put(k, v) & get(k)
• 常见数据结构:LSM-Tree，某种程度上牺牲读性能,追求写入性能

分布式存储

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

HDFS

背景：

专用的高级硬件很贵,同时数据存量很大，要求超高吞吐

特点：

• 支持海量数据存储
• 高容错性
• 弱POSIX语义
• 使用普通x86服务器,性价比高

Ceph

特点：

• 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
• 数据写入采用主备复制模型
• 数据分布模型采用CRUSH算法

单机数据库

• 单机数据库=单个计算机节点上的数据库系统
• 事务在单机内执行,也可能通过网络交互实现分布式事务

分布式数据库

单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决?

解决容量问题

解决弹性问题

解决性价比问题

引用

本章全部内容来自于字节内部课：后端入门-存储与数据库