认识存储和数据库系统 | 青训营笔记

pp一pp
36 阅读6分钟

这是我参与「第五届青训营」伴学笔记创作活动的第13天。

1 经典案例

1.1 数据的产生

某天，小明同学下载了一个新的APP。因为第一次登陆，所以进入APP需要注册一个新的账号。

image.png

于是小明同学三下五除二地填好了资料，按下了"注册"按钮，就这样数据就从无到有的产生了，并且在数十/数百毫秒内向APP的后端服务器飞奔而去……

1.2 数据的流动

image.png

1.3 数据的持久化

1、校验数据的合法性：小明是否已经存在？

2、修改内存：用高效的数据结构组织数据。

3、写入存储介质：以寿命&性能友好的方式写入硬件。

1.4 潜在的问题

数据库怎么保证数据不丢？

数据库怎么处理多人同时修改的问题？

为什么用数据库，除了数据库还能存到别的存储系统吗？

数据库只能处理结构化数据吗？

有哪些操作数据库的方式，要用什么编程语言？

2 存储&数据库简介

2.1 系统概览

存储系统：一个提供了读写、控制类接口，能够安全有效的把数据持久化的软件，也就可以称为存储系统。

image.png

2.2 系统特点

作为后端软件的底座，性能敏感。

存储系统软件架构，容易受硬件影响。

存储系统代码，既“简单”又“复杂”。

2.3 存储器层级结构

image.png

2.4 数据怎么从应用到存储介质

image.png

缓存很重要，贯穿整个存储体系。

拷贝很昂贵，应该尽量减少。

硬件设备五花八门，需要有抽象统一的接入层。

2.5 RAID技术

Q:单机存储系统怎么做到高性能/高性价比/高可靠性？

A:RAID

背景：单块大容量磁盘的价格>多块小容量磁盘；单块磁盘的写入性能<多块磁盘的并发写入性能；单块磁盘的容错能力有限，不够安全。

RAID 0 ：多块磁盘简单组合；数据条带化存储，提高磁盘带宽；没有额外的容错设计。

RAID 1：一块磁盘对应一块额外镜像盘；真实空间利用率仅50%；容错能力强。

RAID 0+1：结合了RAID 0和RAID 1；真实空间利用率仅50%；容错能力强，写入带宽好。

2.6 数据库

数据库和存储系统的区别：关系型数据库<->非关系型数据库。

2.7 概览

关系=集合=任意元素组成的若干有序偶对反应了事物间的关系。

关系代数=对关系作运算的抽象查询语言（交、并、笛卡尔积。。）

SQL=一种DSL=方便人类阅读的关系代数表达形式。

2.8 关系型数据库特点

关系型数据库是存储系统，但在存储之外，又发展出其他能力：结构化数据友好、支持事务（ACID）、支持复杂查询语言。

2.9 非关系型数据库特点

非关系型数据库也是存储系统，但是一般不要求严格的结构化：半结构化数据友好、可能支持事务（ACID）、可能支持复杂查询语言。

2.10 数据库vs经典存储-结构化数据管理

image.png

2.11 数据库vs经典存储-事务能力

凸显出数据库支持“事务”的优越性：

image.png

事务具有：

A:事务内的操作要么全做，要么不做

C：事务执行前后，数据状态是一致的

I：可以隔离多个并发事务，避免影响

D：事务一旦提交成功，数据保持持久性

2.12 数据库vs经典存储 -复杂查询能力

写入数据之后，想做很复杂的查询，用Example：请查询出名字以xiao开头，且密码提示问题小于10个字的人，并按照性别区分。

2.13 数据库的使用方式

Everything is Domain Specific Language --> maybe SQL

以SQL为例，要操作数据时，支持以下操作：Insert、Update、Select、Delete、Where子句、GroupBy、OrderBy

要对数据定义做修改时，支持以下操作：Create user、Create database、Create table

3 主流产品剖析

3.1 单机存储

3.1.1 概览

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互。

image.png

3.1.2 本地文件系统

Linux经典哲学：一切皆文件

文件系统的管理单元：文件

文件系统接口：文件系统繁多，如Ext2/3/4,sysfs,rootfs等，但都遵循VFS的统一抽象接口。

Linux文件系统的两大数据结构：Index Node & Directory Entry

Index Node：记录文件元数据，如id、大小、权限、磁盘位置等。index是一个文件的唯一标识，会被存储到磁盘上index的总数在格式化文件系统时就固定了

Directory Entry：记录文件名、index指针、层级关系（parent等）。dentry是内存结构，与inode的关系是N：1（hardlink的实现）

3.1.3 key-value 存储

世间一切皆key-value ————key是你的身份证，value是你的内涵。 常见使用方式：put(k,v)&get(k) 常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能。 拳头产品：RocksDB

image.png

3.2 分布式存储

3.2.1 概览

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互。

image.png

3.2.2 HDFS

HDFS：堪称大数据时代的基石

时代背景：专用的高级硬件很贵，同时数据存储量很大，要求超高吞吐。

image.png

HDFS核心特点：支持海量数据存储、高容错性、弱POSIX语义、使用普通x86服务器，性价比高。

3.2.3 Ceph

Ceph：开源分布式存储系统里的万金油。

image.png

Ceph的核心特点：一套系统支持对象接口、块接口、文件接口，但是一切皆对象；数据写入采用主备复制模型；数据分布式模型采用CRUSH算法。

3.3 单机关系型数据库

商业产品Oracle称王，开源产品MySQL&PostgreSQL称霸。

关系型数据库的通用组件：

Query Engine：负责解析query，生成查询计划

Txn Manager：负责事务并发管理

Lock Manager：负责锁相关的策略

Storage Engine：负责组织关系内存/磁盘数据结构

Roplication：负责主备同步。

image.png

3.4 单机非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

image.png

关系型数据库一般直接使用SQL交互，而非关系型数据库交互各不相同。

非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活。

不管是否关系型数据库，大家都在尝试支持SQL（子集）和事务

Elasticsearch使用案例

某天小明在新注册的APP上发了一个帖子，帖子里面提到“C++编程有点难”

image.png

3.5 从单机到分布式数据库

单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决？

容量、弹性、性价比

3.5.1 分布式数据库-解决容量问题

单点容量有限，受硬件限制

image.png

存储节点池化，动态扩缩容。

image.png

3.5.2 分布式数据库-解决弹性问题

image.png

3.5.3 分布式数据库-解决性价比问题

image.png

3.5.4 分布式数据库-More to Do

image.png

4 新技术演进

4.1 概览

软件结构变更：Bypass OS kernel

AI增强：智能存储格式转换

新硬件革命：存储介质变更、计算单元变更、网络硬件变更

4.2 SPDK

Bypass OS kernel已经成为一种趋势。

Kernel Space -> User Space:避免syscall带来的性能损耗，直接从用户态访问磁盘。

中断 -> 轮询：磁盘性能提高后，中断次数随之上升，不利于IO性能；SPDK poller可以绑定特定的CPU核轮询，减少cs，提高性能。

无锁数据结构：使用Lock-free oueue，降低并发时的同步开销。

4.3 AI & Storage

AI领域相关技术，如Machine Learning在很多领域：如推荐、风控、视觉领域证明了有效性

image.png

4.4 高性能硬件

1、RDMA网络

2、Persistent Memory

3、可编程交换机

4、CPU/GPU/DPU

avatar
文章
阅读
粉丝