带你认识存储&数据库｜青训营1. 经典案例 1.1. 数据的产生小明下载了一个新App，注册了一个新账号，小明填完

1. 经典案例

1.1. 数据的产生

小明下载了一个新App，注册了一个新账号，小明填完了一系列资料，按下注册按钮，数据便从无到有地产生，并向App的后端服务器飞奔而去

1.2. 数据的流动

1.3. 数据的持久化

校验数据的合法性：用户是否已经存在
修改内存：用高效的数据结构组织数据
写入存储介质：以寿命&性能友好的方式写入硬件

1.4. 潜在的问题

数据库怎么保证数据不丢
数据库怎么处理多人同时修改的问题？
为什么用数据库，除了数据库还能存到别的存储系统吗？
数据库只能处理结构化数据吗？
有哪些操作数据库的方式，要用什么编程语言？

2. 存储&数据库简介

2.1. 存储系统

2.1.1. 系统概览

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

2.1.2. 系统特点

作为后端软件的底座，性能敏感
存储系统软件架构，容易受硬件影响
存储系统代码，既”简单“，又”复杂“

2.1.3. 存储器层级结构

2.1.4. 数据怎么从应用到存储结构

缓存：很重要，贯穿整个存储体系
拷贝：很昂贵，应该尽量减少
硬件设备五花八门，需要有抽象统一的接入层

2.1.5. RAID技术

单机存储系统怎么做到高性能/高性价比/高可靠性——Redundant Array of Inexpensive Disks

RAID出现的背景：
- 单块大容量磁盘的价格>多块小容量磁盘
- 单块磁盘的写入性能<多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全

RAID 0：使用数据条带化的方式将数据分散存储在多个磁盘驱动器上
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘带宽
- 没有额外的容错设计

RAID 1：使用数据镜像的方式将数据完全复制到两个或多个磁盘驱动器上
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强

RAID 0+1：通过镜像实现数据的冗余备份，使用条带化的方式将数据分散存储在多个磁盘驱动器上
- 结合了RAID 0和RAID 1
- 真实空间利用率仅50%
- 容错能力强，写入带宽好

2.2. 数据库

2.2.1. 概览

关系=集合=任意元素组成的若干有序偶对，反应了事物间的关系
关系代数=对关系作运算的抽象查询语言，交、并、笛卡尔积…
SQL=一种DSL=方便人类阅读的关系代数表达形式

2.2.2. 关系型数据库

关系型数据库是存储系统，但除存储外，又有其他能力

结构化数据友好
支持事务（ACID）
支持复杂查询语言

2.2.3. 非关系型数据库

非关系型数据库也是存储系统，但是一般不要求严格的结构化

半结构化数据友好
可能支特事务(ACID)
可能支持复杂查询语言

2.3. 数据库VS经典存储

	数据库	经典存储
结构化数据管理	写入关系型数据库，以表形式管理	写入文件，自行定义，管理结构
事务能力	凸显出数据库支持事务的优越性
复杂查询能力（对比两者的代码）	灵活简洁	僵化复杂

事务具有：

A(tomicity),事务内的操作要么全做，要么不做
C(onsistency),事务执行前后，数据状态是一致的
I(solation),可以隔离多个并发事务，避免影响
D(urability),事务一旦提交成功，数据保证持久性

2.4. 数据库使用方式

Everything is D(omain) S(pecific) L(anguage)->maybe SQL

以SQL为例，要操作数据时，支持以下操作： Insert、Update、Select、Delete、Where子句、GroupBy、OrderBy

要对数据定义做修改时，支持以下操作： Create user、Create database、Create table、Alter table……

3. 主流产品剖析

3.1. 单机存储

3.1.1. 概述

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

3.1.2. 本地文件系统

文件系统的管理单元：文件
文件系统接口：文件系统繁多，如Ext2/3/4,Syss,rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构：Index Node&Directory Entry
- Index Node
  - 记录文件元数据，如id、大小、权限、磁盘位置等
  - inode是一个文件的唯一标识，会被存储到做盘上
  - inode的总数在格式化文件系统时就固定了
- Directory Entry
  - 记录文件名、inode指针，层级关系(parent)等
  - dentry是内存结构，与inode的关系是N:1(hardlink的实现)

3.1.3. key-value存储

常见使用方式：put(k,v) & get(k)

常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能

拳头产品：RocksDB

3.2. 分布式存储

3.2.1. 概述

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

3.2.2. HDFS

堪称大数据时代的基石
时代背景：专用的高级硬件很贵，同时数据存是很大，要求超高吞吐
核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高

3.2.3. Ceph

开源分布式存储系统的万金油
核心特点
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH算法（HASH+权重+随机抽签）

3.3. 单机数据库

3.3.1. 概览

单机数据库=单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

3.3.2. 关系型数据库

商业产品Oracle称王，开源产品MySQL、PostgreSQL称霸
关系型数据库的通用组件
- Query Engine——负责解析query，生成查询计划
- Txn Manager——负责事务并发管理
- Lock Manager——负责锁相关的策略
- Storage Engine——负责组织内存/磁盘数据结构
- Replication一负责主备同步
关键内存数据结构：B-Tree、B+-Tree、LRU List等
关键磁盘数据结构：WriteAheadLog(RedoLog)、Page

3.3.3. 非关系型数据库

关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”
MongoDB、Redis、Elasticsearch三足鼎立
- MongoDB
  - 面向文档存储
  - 文档可序列化成JSON/BSON，支持嵌套
  - 存在collection，collection=文档的集合
  - 存储和构建索引能力依赖viredTiger引擎
  - 4.0后开始支持事务（多文档、跨分片多文档等）
  - 常用client/SDK交互，可通过插件转译支持弱5OL
- Redis
  - 数据结构丰富（hash表、set、zset、list）
  - C语言实现，超高性能
  - 主要基于内存，但支持AOF/RDB持久化
  - 常用redis-cli/多语言SDK交互
- Elasticsearch
  - 面向文档存储
  - 文档可序列化成JSON，支持嵌套
  - 存在index，index=文档的集合
  - 存储和构建索引能力依赖Lucene引擎
  - 实现了大量搜索数据结构&算法
  - 支持RESTFUL API，也支持弱SQL交互

3.4. 分布式数据库

问题	单机数据库	分布式数据库
容量问题	单点容量有限，受硬件限制	存储节点池化，动态扩缩容
弹性问题（CPU资源紧张，不够用）	扩容，搬迁全部数据，但耗时长；缩容，Disk问题难以解决	动态扩缩容
性价比问题（容量不足但CPU利用率不高）	扩容，使用高规格机器，但CPU浪费严重	使用共享存储池，不需要扩CPU

4. 新技术演进

4.1. 软件架构变更 Bypass OS Kernel

SPDK——Storage Performance Development Kit

Kernel Space -> User Space：避免syscall带来的损耗，直接从用户态访问磁盘
中断->轮询
- 磁盘性能提高后，中断次数随之上升，不利于IO性能
- SPDK poller 可以绑定特定的CPU核不断轮询，减少cs,提高性能
无锁数据结构：使用Lock-free queue，降低并发时的同步开销

4.2. Al & Storage

行存or列存经过AI决策，进行行列混存

4.3. 高性能硬件

4.3.1. RDMA网络

传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但性能不是最佳
RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少CPU开销

4.3.2. Persistent Memory

在NVMe SSD和Main Memory间有一种全新的存储产品：Persistent Memory

IO时延介于SSD和Memory之间，约百纳秒量级
可以用作易失性内存(memory mode)，也可以用作持久化介质(app-direct)

4.3.3. 可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

4.3.4. CPU/GPU/DPU

CPU：从multi-core走向many-core

GPU：强大的算力&越来越大的显存空间

DPU：异构计算，减轻CPU的workload

带你认识存储&数据库 ｜ 青训营