[存储与数据库|青训营笔记]

一、存储 & 数据库介绍

1.1 存储系统

存储系统就是指一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件。

百度搜索: 存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。

按照我自己的理解来看，我认为存储系统就是一个容器，存放各种程序以及数据的容器。

存储系统有以下几种特点：

1. 作为后端软件的底座，性能敏感（由于现在的项目依赖于一些有状态，持久化的服务，所以在这种情况下，肯定会大量、频繁、并发的去操作我们的存储系统。）

2. 存储系统软件架构，容易受硬件影响。（存储系统直接跟硬件“打交道”，如：HDD磁盘 ssd磁盘；只要硬件设备发生了变革，那么软件就要顺应着硬件设备的变革去进行变革，甚至说整个软件、其代码库全部重来）

3. 存储系统代码，即“简单”又“复杂”(存储系统对性能要求高，所以在读写操作上，也就是IO操作的时候，代码一定不能很复杂，也不能有很多分支，导致系统性能很差。)

1.2 存储器层次结构

存储器的层级结构是一个金字塔型，也就是说“塔尖”指的是一类存储设备，其特点：容量极小，但是在容量极小的前提下，却可以支撑超高性能的访问。对于金字塔的“底部”，其特点：容量非常大，但是访问速度/读写速度非常慢。

1.3 RAID 技术

磁盘阵列: RAID(Redundant Array of Inexpensive Disks)。磁盘阵列是由很多块独立的磁盘，组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。

RAID出现的背景：
单块大容量磁盘的价格 > 多块小容量磁盘
单块磁盘的写入性能 < 多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全

实例:

RAID 0:
RAID 0将N块硬盘上选择合理的带区来创建带区集。其原理是将类似于显示器隔行扫描，将数据分割成不同条带(Stripe)分散写入到所有的硬盘中同时进行读写。多块硬盘的并行操作使同一时间内磁盘读写的速度提升N倍
特点: 1.多块磁盘简单组合；2.数据条带化存储，提高磁盘带宽；3.没有额外的容错设计

RAID 1:
RAID 1称为磁盘镜像，原理是把一个磁盘的数据镜像到另一个磁盘上，也就是说数据在写入一块磁盘的同时，会在另一块闲置的磁盘上生成镜像文件，在不影响性能情况下最大限度的保证系统的可靠性和可修复性上，只要系统中任何一对镜像盘中至少有一块磁盘可以使用，甚至可以在一半数量的硬盘出现问题时系统都可以正常运行，当一块硬盘失效时，系统会忽略该硬盘，转而使用剩余的镜像盘读写数据，具备很好的磁盘冗余能力。
特点: 1.一块磁盘对应一块额外镜像盘；2.真实空间利用率仅50%；3.容错能力强。

RAID0+1\
从RAID 0+1名称上我们便可以看出是RAID0与RAID1的结合体。在我们单独使用RAID 1也会出现类似单独使用RAID 0那样的问题，即在同一时间内只能向一块磁盘写入数据，不能充分利用所有的资源。为了解决这一问题，我们可以在磁盘镜像中建立带区集。因为这种配置方式综合了带区集和镜像的优势，所以被称为RAID 0+1。把RAID0和RAID1技术结合起来，数据除分布在多个盘上外，每个盘都有其物理镜像盘，提供全冗余能力，允许一个以下磁盘故障，而不影响数据可用性，并具有快速读/写能力。RAID0+1要在磁盘镜像中建立带区集至少4个硬盘。
特点：1.结合了RAID 0 和 RAID 1；2.真实空间利用率仅50%；3.容错能力强，写入带宽好。

1.5 数据库

数据库主要分为关系型数据库(Oracle、SQL Server、MySql等)和非关系型数据库(MongoDB、Redis、HBase等)

关系(Relation) = 集合 = 任意元素组成的若干有序偶对[反映了事物之间的关系，描述两个实体之间的联系]

关系代数 = 对关系作运算的抽象查询语言

SQL = 一种DSL(domain-specific language)领域特定语言 = 方便人类阅读的关系代数表达形式

关系型数据库指采用了关系模型来组织数据的数据库，其以行和列的形式存储数据，以便于用户理解，关系型数据库这一系列的行和列被称为表，一组表组成了数据库。用户通过查询来检索数据库中的数据，而查询是一个用于限定数据库中某些区域的执行代码。关系模型可以简单理解为二维表格模型，而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。
特点: 结构化数据友好、支持事务(ACID)、支持复杂查询语言

非关系型数据库
非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。
特点：半结构化数据友好、可能支持事务（ACID）、可能支持复杂查询语言

关系型数据库案例(mysql)

{
    "user_name": "xiaoming",
    "password": "helloworld",
    "password_hint": "coding",
    ...
}

将json数据在mysql中，以表的形式实现。

1、事务能力(ACID)

A(Atomicity): 事务内的操作要么全做，要么不做。

C(Consistency): 事务执行前后，数据状态是一致的。

I(Isolation)：可以隔离多个并发事务，避免影响。

D(Durability): 事务一旦提交成功，数据保证持久性。

2、复杂查询能力

使用一个案例来进行说明，请查询出名字以王开头，且密码提示问题小于5个字的人，并按照性别分组统计人数。

以SQL语言进行

Select gender,count(*) from user
where user_name like "王%"
and len(password_hint) < 5
group by gender;

用golang实现

for each data{
    if(user_name ...... && password_hint ......){
        mark in list
    }
}
for each in marked_list{
    if(gender == ......){}
}

经过对比可以发现使用golang进行查询的时候，代码会十分繁琐且复杂；但是如果在mysql数据库中使用的时候，是非常简单的，只需要短短几行就可以实现。

二、主流产品剖析

2.1 单机存储

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
如：本地文件系统，key-value存储

1、本地文件系统

文件系统的管理单元: 文件

文件系统的接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口。

Linux文件系统的两大数据结构：Index Node & Directory Entry

Index Node(记录文件元数据，如id、大小、权限、磁盘位置等 inode是一个文件的唯一标识，会被存储到磁盘上 inode的总数在格式化文件系统时就固定了)

Directory Entry(记录文件名、inode指针、层级关系(parent)等 dentory是内存结构，与inode的关系是N:1(hardlink的实现))

2、key-value存储

常见使用方式：put(k,v) & get(k)

常见数据结构: LSM-Tree，某种程度上牺牲读性能，追求写入性能

拳头产品：RocksDB

2.2 分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互如：分布式文件系统，分布式对象存储

1、HDFS

HDFS (Hadoop分布式文件系统）指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。

HDFS核心特点：1.支持海量数据存储、高容错率；2.弱POSIX语义；3.使用普通x86服务器，性价比高
POSIX(可移植操作系统接口)

2、Ceph

Ceph 是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN存储、NAS存储等。可以作为k8s的存储类，来方便容器持久化存储。

Ceph的核心特点：1.一套系统支持对象接口、块接口、文件接口，但是一切皆对象；2.数据写入采用主备复制模型；3.数据分布模型采用CRUSH(HASH+权重+随机抽签)算法

Ceph结构详解

2.3 单机数据库

单机数据库 = 单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
如: 关系型数据库、非关系型数据库

1、关系型数据库

比较常用的产品有: Oracle、Mysql、PostgreSQL

关系型数据库的通用组件:
Query Engine —— 负责解析query，生成查询计划
Txn Manager —— 负责事务并发管理
Lock Manager —— 负责锁相关的策略
Storage Engine —— 负责组织内存/磁盘数据结构
Replication —— 负责主备同步

关键内存数据结构: B-Tree、B+-Tree、LRU List等
关键磁盘数据结构：WriteAheadLog（RedoLog）、Page

关系型数据库

2、非关系型数据库

关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同。

非关系型数据库的数据结构千奇百怪，没有关系约束后，schema(数据库对象的集合)相对灵活

不管是否关系型数据库，大家都在尝试支持SQL（子集）和“事务”

常用的非关系型数据库

Elasticsearch

特点: 面向文档存储；
文档可序列化成JSON，支持嵌套；
存在「index」，index=文档的集合；
存储和构建索引能力依赖Lucene引擎；
实现了大量搜索数据结构&算法
支持RESTFUL API，也支持弱SQL交互

Redis

特点：数据结构丰富(Hash表、set、zset、list)
C语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cli/多语言SDK交互

MongoDB

特别灵活，感觉可以存储任何东西
特点：面向文档存储；
文档可序列化成JSON/BSON，支持嵌套；
存在「collection」，collection=文档的集合；
存储和构建索引能力依赖wiredTiger引擎；
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SQL

2.4 分布式数据库

采用分布式架构，主要是为了解决以下三点问题：容量、弹性、性价比

解决容量问题:采用存储池，存储节点池化，动态扩缩容量

解决弹性问题：通过池化就可以完美的解决扩缩容的问题

解决性价比问题：使用共享存储池，池化的技术，不需要扩容cpu，解决性价比的问题。

新的三个问题:单写vs多写；从磁盘弹性到内存弹性；分布式事务优化

二、新技术演进

3.1 SPDK

SPDK(Storage Performance Development Kit) 1.Kernel Space -> User Space

避免syscall带来的性能消耗，直接从用户态访问磁盘

2.中断 -> 轮询

磁盘性能提高后，中断次数随之上升，不利于IO性能 SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能

3.无锁数据结构

使用Lock-free oueue，降低并发时的同步开销

3.2 高性能硬件

、、可编程交换机、CPU/GPU/DPU

RDMA网络

RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少cpu开销

Persistent Memory

IO时延介于SSD和Memory之间，约百纳秒量级可以用作易失性内存(memory mode)，也可以用作持久化介质(app-direct)

可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等。

CPU/GPU/DPU

CPU: 从multi-core走向many-core GPU：强大的算力 & 越来越大的显存空间 DPU: 异构计算，减轻CPU的workload

[存储与数据库|青训营笔记]

[存储与数据库|青训营笔记]

一、存储 & 数据库介绍

1.1 存储系统

1.2 存储器层次结构

1.3 RAID 技术

1.5 数据库

1、 事务能力(ACID)

2、 复杂查询能力

二、主流产品剖析

2.1 单机存储

1、本地文件系统

2、key-value存储

2.2 分布式存储

1、HDFS

2、Ceph

2.3 单机数据库

1、关系型数据库

2、非关系型数据库

常用的非关系型数据库

2.4 分布式数据库

二、新技术演进

3.1 SPDK

3.2 高性能硬件

1、事务能力(ACID)

2、复杂查询能力