认识存储&数据库 | 青训营笔记

找厂散人
66 阅读6分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第10篇笔记

01 经典案例

一条数据从产生，到数据流动，到最后持久化的全生命周期。

1.1 数据的产生

某天小明打开了一款APP，因为需要登录，所以需要小明注册一个账号，所以小明就三下五除二的填好了用户名和密码，按下了注册按钮，这样，数据就从无到有的产生了，并且在数十/百毫秒内向APP的后端服务器，飞奔而去。 在注册完账号之后，小明的浏览记录，单击记录，或者是购买记录，评论，点赞等等行为，也都有可能作为数据被存储下来。

1.2 数据的持久化

在一条数据到达后端之后可能要经历三个步骤

graph TD
检验数据的合法性 --> 修改内存 --> 写入存储介质

1.3 潜在的问题

  • 怎么保证数据库中的数据不丢失？
  • 数据库只能处理结构化的数据吗？
  • 有哪些操作数据库的方法，用什么编程语言？
  • 数据库怎么处理多人同时修改的问题？
  • 除了使用数据库，还有别的存储系统吗？

02 存储&数据库简介

什么是存储系统？什么是数据库系统？

2.1 存储系统

2.1.1 系统概览

Q:什么是存储系统？ A:一个提供了读写，控制接口，能够安全有效的将数据持久化的软件，就可以叫做存储系统 存储系统可能的组件

  1. 用户
  2. 中间存储介质
  3. 网络
  4. 内存

2.1.2 系统特点

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，既简单又复杂，简单体现在不能有太多的分支，复杂体现在要处理所有的异常情况

2.1.3 数据怎么从应用到存储介质

image.png

  • 缓存很重要，贯穿整个存储体系
  • 拷贝很昂贵，应该尽量减少
  • 硬件五花八门，需要有抽象统一的接入层

2.1.4 RAID技术

Q:单机存储系统怎么做到高性能/高性价比/高可靠性？ A：RAID(Redundant Array of Inexpendsive Disks)

RAID出现的背景：

  • 单块大容量的磁盘价格>多块小容量磁盘
  • 单块磁盘的写入速度<对快磁盘的并发写入效率
  • 单块磁盘的容错能力有限，不够安全

RAID0

  • 对快磁盘简单组合
  • 数据条带化存储，提高磁盘的带宽
  • 没有额外的容错设计 RAID1
  • 一块磁盘对应一块额外的镜像盘
  • 真实利用空间只有50%
  • 容错率强 RAID0+1
  • 结合了RAID0和RAID1
  • 真实空间利用率仅有50%
  • 容错能力强，写入带宽好

2.2 数据库

关系型数据库 非关系型数据库

2.2.1 概览

关系是什么？

  • 关系=集合=任意元素组成的若干有序偶对反应了事物间的关系
  • 关系代数=对关系作运算的抽象查询语言(交并补，笛卡尔积)
  • SQL=一种DSL=方便人类阅读的关系代数表达式形式

2.2.2 关系型数据库的特点

关系数据库是存储系统，但是在存储之外又发展出了其他能力

  • 结构化数据友好
  • 支持事务
  • 支持复杂查询语言(SQL)

2.2.3 非关系型数据库的特点

非关系型数据库也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务
  • 可能支持复杂查询语言

2.3 数据库VS经典存储

2.3.1 结构化数据管理

  • 写入关系型数据库是以表形式管理
  • 写入文件，自行定义管理结构

2.3.2 事务能力

凸显数据库支持事务的优越性

2.3.3 复杂查询能力

Q:写入数据后，想做很复杂的查询怎么办？ E：请查询出名字以xiao开头，且密码提示问题小于10个字的人，并按性别分组统计人数 数据库：灵活、简洁 存储系统：僵化、复杂

2.4 数据库的使用方式

Everything is Domain Specific Language ---> maybe SQL

03 主流产品刨析

3.1 单机存储

3.1.1 概览

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

  • 本地文件系统
  • key-value存储

3.1.2 本地文件系统

Linux经典哲学：一切皆文件 文件系统的管理单元：文件 文件系统接口：文件系统繁多，如Ext2/3/4,sysfs.rootfs,但都遵循VFS统一抽象接口 Linux文件系统的两大数据结构：Index Node & Directory Entry Index Node：inode是一个文件的唯一标识，会被存储在磁盘上，并且inode的总数在格式化文件系统的时候就固定了 Directory Enty：记录文件名、inode指针、层级关系等，dentry是内存结构，与inode的关系是N：1，硬链接实现

3.1.3 key-value存储

世间的一切皆key-value，key是你的身份证，value是你的内涵 常见的数据结构：LSM-tree，在某种程度上牺牲读性能，追求写入性能

3.2 分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

3.2.1 HDFS

HDFS:堪称大数据时代的基石 时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高的吞吐 HDFS特点：

  • 支持海量数据的存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通的x86服务器，性价比高

3.2.2 Ceph

Ceph：开源分布式存储系统里面的万金油 Ceph的核心特点：

  • 一套系统支持对象接口、块接口、文件接口、但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH算法(HASH+权重+随机抽签)

image.png

3.3 单机数据库

3.3.1 概览

单机数据库 = 单个计算机节点上的数据库系统，事务在单机内执行，也可能通过网络交互实现分布式事务

3.3.2 关系型数据库

关系型数据库的通用组件：

  • Query Engine--负责解析query，生成查询计划
  • Txn Manaer--负责事务并发管理
  • Lock Manager--负责锁的相关策略
  • Storage Manager--负责内存/磁盘数据结构
  • Replication--负责主备同步
  • 关键的内存数据结构：B-Tree,B+Tree,LRU List等
  • 关键磁盘数据结构：WriteAheadLog(RedoLog),Page

3.3.3 非关系型数据库

MongoDB,Redis，Elasticsearch

  • 关系型数据库一般直接使用SQL交互，但是非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
  • 不管是否是关系型数据库，大家都在尝试支持SQL和事务 Elasticsearch
  • 面向文档存储
  • 文档可系列化成JSON，支持嵌套
  • 存在index，index=文档的集合
  • 存储和构建索引的能力依赖于Lucene引擎
  • 实现了大量搜索数据结构&算法
  • 支持RESTFUL API，也支持弱SQL交互 mongoDB
  • 面向文档存储
  • 文档可系列化成JSON/BSON，支持嵌套
  • 存在collection，collection=文档的集合
  • 存储和构建索引的能力依赖于wiredTiger引擎
  • 常用client/SDK交互，可通过插件支持弱SQL redis
  • 数据结构丰富
  • c实现，超高性能
  • 主要基于内存，支持aof/rdb持久化
  • 重用redis-cli/多语言SDK交互

3.4 从单机到分布式数据库

单机数据库遇到了哪些问题？

  • 容量
  • 弹性
  • 性价比

04 新技术演进

  • 新架构？
  • 新硬件？
  • 新理论？
  • 人工智能？

4.1 概览

软件架构的变更

  • Bypass OS Kernel AI增强
  • 智能存储格式转换 新硬件革命
  • 存储介质变更
  • 计算单元变更
  • 网络硬件变更

4.2 SPDK

SPDK(Storage Performance Development Kit)

  • Kernel Space -> User Space 中断->轮询
  • 磁盘性能提高后，中断次数随之上升，不利于IO性能
  • SPDK poller可以绑定特定的cpu核不断轮询，减少cs，提高性能 无所数据结构
  • 使用Lock-free queue，降低并发时的同步开销

4.3 高性能硬件

RDMA网络

  • 传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但是性能不佳
  • RDMA是kernel bypass的流派，不经过传统的网络协议，可以将用户态虚拟内存映射到网卡，减少拷贝的开销，减少cpu开销 Persistent Memory 在ssd和Memory之间有一种全新的存储产品
  • io时间介于两者之间
  • 可以作为易失性内存、也可以作为持久化介质 可编程交换机
  • P4 switch，配有编译器，计算单元，DRAM，可以在交换机层对包进行逻辑计算，在数据库场景下，可以实现缓存一致性协议 CPU/GPU/DPU
  • CPU:从muli-cor走向many-core
  • GPU:强大的算力&越来越大的显存空间
  • DPU:异构计算，减轻CPU的workload
avatar
文章
阅读
粉丝