[ 带你认识存储的本质 - 状态| 青训营笔记]

105 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天

经典案例

数据的产生

比如注册

数据的流动

image.png

数据的持久化

image.png

潜在的问题

数据库怎么保证数据不丢?
数据库怎么处理多人同时修改的问题?
为什么用数据库,除了数据库还能存到别的存储系统吗?
数据库只能处理结构化数据吗?
有哪些操作数据库的方式,要用什么编程语言?

存储 & 数据库简介

存储系统

系统概述

一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统

系统特点

作为后端软件的底座,性能敏感
存储系统软件架构,容易受硬件影响
存储系统代码,既“简单”又“复杂”

存储器层级结构

image.png

数据怎么从应用到存储介质

image.png [缓存] 很重要,贯穿整个存储体系
[拷贝] 很昂贵,应该尽量减少
硬件设备五花八门,需要有抽象统一的接 入层

RAID技术

image.png

数据库

分类

关系型数据库,非关系型数据库

概述

Edgar.F.Codd于1970年提出 [关系模型]
关系 = 集合 = 任意元素组成的若干有序偶对反应了事物间的关系
关系代数 = 对关系作运算的抽象查询语言
SOL = 一种DSL = 方便人类阅读的关系代数表达形式

关系型数据库的特点

关系型数据库是存储系统,但是在存储之外,又发展出其他能力

结构化数据友好,支持事务 (ACID),支持复杂查询语言

非关系型数据库特点

非关系型数据库也是存储系统,但是一般不要求严格的结构化

半结构化数据友好,可能支持事务 (ACID),可能支持复杂查询语言

数据库 vs 经典存储

结构化数据管理

image.png

事务能力

image.png

复杂查询能力

image.png

数据库使用方式

image.png

主流产品剖析

单机存储

概览

单机存储 = 单个计算机节点上的存储软件系统,一般不涉及网络交互

image.png

本地文件系统

image.png

key-value存储

image.png

分布式存储

概览

分布式存储 = 在单机存储基础上实现了分布式协议,涉及大量网络交互

image.png

HDFS

大数据时代的基石
时代背景:专用的高级硬件很贵,同时数据存量很大,要求超高吞吐

HDFS核心特点
①支持海量数据存储
高容错性
③弱POSIX语义
④使用普通x86服务器,性价比高

image.png

Ceph

image.png

单机数据库

概览

单机数据库 =单个计算机节点上的数据库系统
事务在单机内执行,也可能通过网络交互实现分布式事务

image.png

关系型数据库

image.png

image.png

非关系型数据库

image.png

image.png

Elasticsearch使用案例

image.png

从单机到分布式数据库

image.png

解决容量问题

image.png

解决弹性问题

image.png

解决性价比问题

image.png

More to Do

image.png

新技术演进

概览

image.png

SPDK

image.png

Al & Storage

image.png

高性能硬件

image.png