存储与数据库 | 青训营

已注销
83 阅读10分钟

这是我参与[第五届青训营]伴学笔记的第16天。

课程内容

  1. 经典案例：一条数据从产生，到数据流动，最后持久化的全生命周期
  2. 存储&数据库简介：数据库和存储系统背景知识，它们是什么，有哪些特点?
  3. 主流产品剖析：主流的存储&数据库系统架构，经典产品剖析
  4. 新技术演进：老系统结合新技术，如何持续演进走向新生?

01.经典案例

小明同学下载了一个新的APP。因为第一次登陆，所以进入APP后需要注册一个新的账号

  • 用户名:小明
  • 密码:helloworld
  • 密码提示问题:coding
  • ......

于是小明同学三下五除二地填好了资料，按下了「注册」按钮。就这样，数据就从无到有地产生了，并且在数十/数百毫秒内向APP的后端服务器飞奔而去……

  • 数据的流动

一条用户注册数据->后端服务器->数据库系统（持久化数据）<->其他系统

  • 数据的持久化

校验数据的合法性：校验用户是否以已经存在->修改内存：用高效的数据结构组织数据，准备去持久化的数据结构->写入存储介质：以寿命&性能友好的方式写入硬件

  • 潜在问题
  1. 数据库怎么保证数据不丢?
  2. 数据库怎么处理多人同时修改的问题?
  3. 为什么用数据库,除了数据库还能存到别的存储系统吗?
  4. 数据库只能处理结构化数据吗?
  5. 有哪些操作数据库的方式,要用什么编程语言?

02.存储&数据库简介

2.1存储系统-系统概览

Q：什么是存储系统?

A：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

2.1存储系统-系统特点

  1. 作为后端软件的底座，性能敏感
  2. 存储系统软件架构，容易受硬件影响
  3. 存储系统代码，既“简单”又“复杂”

2.1存储系统-存储器层级结构

image.png

2.1存储系统-数据怎么从应用到存储介质

  • [缓存]很重要，贯穿整个存储体系
  • [拷贝]很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

image.png

2.1存储系统-RAID技术

Q∶单机存储系统怎么做到高性能/高性价比/高可靠性?

A : R(edundant)A(rray) of K(nexpensive) D(isks)

RAID出现的背景︰

  1. 单块大容量磁盘的价格>多块小容量磁盘
  2. 单块磁盘的写入性能<多块磁盘的并发写入性能
  3. 单块磁盘的容错能力有限，不够安全

RAID 0

  1. 多块磁盘简单组合
  2. 数据条带化存储,提高磁盘带宽
  3. 没有额外的容错设计（没有冗余和备份）

RAID1

  1. 一块磁盘对应一块额外镜像盘
  2. 真实空间利用率仅50%
  3. 容错能力强

RAID0+1

  1. 结合了RAIDO和 RAID 1
  2. 真实空间利用率仅50%
  3. 容错能力强,写入带宽好

2.2数据库-概览

关系：提出于关系模型，关系=集合=任意元素组成的若干有序偶对，即反映了事物间的关系。 关系代数：对关系作运算的抽象查询语言。交、并、笛卡尔积..... SQL=一种DSL=方便人类阅读的关系代数表达形式。

2.2数据库-关系型数据库特点

关系型数据库是存储系统,但是在存储之外，又发展出其他能力

  1. 结构化数据友好
  2. 支持事务ACID
  3. 支持复杂查询语言

2.2数据库-非关系型数据库特点

非关系型数据库也是存储系统,但是一般不要求严格的结构化

  1. 非结构化数据友好
  2. 可能支持事务
  3. 可能支持复杂查询语言

2.3数据库vs经典存储

  1. 结构化数据管理
  • 一条用户注册数据->写入关系型数据库，以表形式管理
  • 一条用户注册数据->写入文件，自行定义管理结构
  1. 事务能力

凸显出数据库支持「事务」的优越性事务具有:

  • A(tomicity)，事务内的操作要么全做，要么不做
  • C(onsistency)，事务执行前后，数据状态是一致的
  • l(solation)，可以隔离多个并发事务，避免影响
  • D(urability)，事务一旦提交成功，数据保证持久性

复杂查询能力 Q:写入数据之后，想做很复杂的查询怎么办?

Example:请查询出名字以xiao开头，且密码提示问题小于10个字的人，并按性别分组统计人数

经典存储需要过滤、选择等等，而关系型做复杂查询只需要简单SQL

2.4数据库使用方式

以SQL为例，要操作数据时，支持以下操作︰

  • Insert
  • Update.
  • Select
  • Delete
  • Where子句
  • GroupBy
  • OrderBy

要对数据定义做修改时，支持以下操作:

  • Create user
  • Create database
  • Create table
  • Alter table

03.主流产品剖析 3.1单机存储-概览 单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

本地文件系统

linux经典哲学：一切皆文件

  • 文件系统的管理单元︰文件
  • 文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
  • Linux文件系统的两大数据结构: Index Node & Directory Entry
  • lndex Node

记录文件元数据，如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了

  • Directory Entry

记录文件名、inode指针，层级关系(parent)等 dentry是内存结构，与inode的关系是N:1(hardlink的实现)

key-value存储

世间一切皆key-value——key身份证，value内涵

  • 常见使用方式: put(k, v) & get(k)
  • 常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能
  • 拳头产品:RocksDB

3.2分布式存储-概览

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

HDFS

HDFS:堪称大数据时代的基石

时代背景:专用的高级硬件很贵,同时数据存量很大，要求超高吞吐

HDFS核心特点︰

  1. 支持海量数据存储
  2. 高容错性
  3. 弱POSIX语义
  4. 使用普通x86服务器，性价比高

ceph

Ceph :开源分布式存储系统里的「万金油」

Ceph的核心特点:

  1. 一套系统支持对象接口、块接口、文件接口，
  2. 但是一切皆对象
  3. 数据写入采用主备复制模型数据分布模型采用CRUSH（hash、权重、随机抽签）算法

3.3单机数据库-概览

  • 单机数据库=单个计算机节点上的数据库系统
  • 事务在单机内执行，也可能通过网络交互实现分布式事务

关系型数据库

商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸

关系型数据库的通用组件:

  1. Query Engine ——负责解析query，生成查询计划
  2. Txn Manager ——负责事务并发管理
  3. Lock Manager ——负责锁相关的策略
  4. Storage Engine ——负责组织内存/磁盘数据结构
  5. Replication ——负责主备同步
  6. 关键内存数据结构:B-Tree、B+-Tree、LRU List等
  7. 关键磁盘数据结构: WriteAheadLog (RedoLog)、Page

非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

  1. 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
  2. 非关系型数据库的数据结构千奇百怪,没有关系约束后， schema相对灵活
  3. 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”

Elasticearch

  1. 面向「文档」存储
  2. 文档可序列化成JSON，支持嵌套
  3. 存在「index」, index=文档的集合
  4. 存储和构建索引能力依赖Lucene引擎
  5. 实现了大量搜索数据结构&算法
  6. 支持RESTFUL API，也支持弱SQL交互

MongoDB

  1. 面向「文档」存储
  2. 文档可序列化成JSON/BSON，支持嵌套
  3. 存在「collection] , collection =文档的集合
  4. 存储和构建索引能力依赖wiredTiger引擎
  5. 4.0后开始支持事务(多文档、跨分片多文档等)
  6. 常用client/SDK交互，可通过插件转译支持弱SQL

Redis

  1. 数据结构丰富(hash表、 set、zset、list)
  2. C语言实现.超高性能
  3. 主要基于内存,但支持AOF/RDB持久化
  4. 常用redis-cli/多语言SDK交互

3.5从单机到分布式数据库

单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决?

  • 容量
  • 弹性
  • 性价比
  1. 解决容量问题

单点容量有限，受硬件限制->存储节点池化，动态扩缩容

  1. 解决弹性问题

CPU资源紧张，不够实用->（扩容，搬迁全量数据，maybe 300+s）扩容成功，访问数据库->（缩容，disk问题难以解决）缩容成功，访问数据库

  1. 解决性价比问题

要写500G数据，容量不够实用，但CPU利用率仅20%->（扩容，高规格机器）满足了容量需要，但CPU浪费更严重->（使用共享存储池，不需要扩CPU）解决存储性价比问题

  1. More to Do
  • 单写到多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优化

04.新技术演进

4.1新技术演进-概览

  1. 软件架构变更

Bypass OS kernel 2. AI增强 智能存储格式转换 3. 新硬件革命

  • 存储介质变更
  • 计算单元变更
  • 网络硬件变审

4.2新技术演进-SPDK

Bypass OS kernel已经成为一种趋势

  1. Kernel Space -> User Space

避免syscall带来的性能损耗,直接从用户态访问磁盘 2. 中断->轮询

  • 磁盘性能提高后,中断次数随之上升,不利于IO性能
  • SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能
  1. 无锁数据结构

使用Lock-free aueue，降低并发时的同步开销

4.3新技术演进-AI&Storage

AI领域相关技术，如Machine Learning在很多领域∶如推荐、风控、视觉领域证明了有效性

在Storage领域,AI能给我们带来什么改变?

行存、列存->行列混存

4.4新技术演进-高性能硬件

  1. RDMA网络
  • 传统的网络协议栈,需要基于多层网络协议处理数据包,存在用户态&内核态的切换，足够通用但性能不是最佳
  • RDMA是 kernel bypass的流派,不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销,减少cpu开销
  1. Persistent Memory

在NvMe SSD和Main Memory间有一种全新的存储产品:Persistent Memory

  • IO时延介于SSD和Memory之间,约百纳秒量级
  • 可以用作易失性内存(memory mode)，也可以用作持久化介质（(app-direct)
  1. 可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场录下，可以实现缓存一致性协议等 4. CPU/GPU/DPU

  • CPU:从multi-core走向many-core
  • GPU:强大的算力&越来越大的显存空间
  • DPU:异构计算，减轻CPU的workoad

总结

存储系统

  1. 块存储:存储软件栈里的底层系统,接口过于朴素
  2. 文件存储:日常使用最广泛的存储系统,接口十分友好，实现五花八门
  3. 对象存储:公有云上的王牌产品. immutable语义加持
  4. key-value存储:形式最灵活,存在大量的开源/黑盒产品

数据库系统

  1. 关系型数据库︰基于关系和关系代数构建的，一般支持事务和SQL访问，使用体验友好的存储产品
  2. 非关系型数据库︰结构灵活，访问方式灵活，针对不同场景有不同的针对性产品

分布式架构

  1. 数据分布策略︰决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能数据复制协议︰影响IO路径的性能、机器故障场景的处理方式
  2. 分布式事务算法︰多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计
avatar
文章
阅读
粉丝