Go语言学习——存储&数据库｜ 青训营笔记

LongBob
126 阅读4分钟

这是我参与「第五届青训营 」笔记创作活动的第16天

一：存储与数据库简介

1：存储系统定义

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

2：存储系统特点

  • 作为后端软件的底座，性能敏感
  • 存储系统软件架构,容易受硬件影响
  • 存储系统代码,既“简单”又“复杂”

3：存储器层级结构

image.png

4：数据怎么从软件到硬件

image.png

  • 「缓存」很重要，贯穿整个存储体系
  • 「拷贝」很昂贵，应该尽量减少
  • 硬件设备五花八门，需要有抽象统一的接入层

5：RAID技术

（1）背景（对单机存储系统高性能、高性价比、高可靠性的追求）

  • 单块大容量磁盘的价格>多块小容量磁盘
  • 单块磁盘的写入性能<多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限，不够安全

（2）RAID发展

  • RAID O
    • 多块磁盘简单组合
    • 数据条带化存储，提高磁盘带宽
    • 没有额外的容错设计
  • RAID 1
    • 一块磁盘对应一块额外镜像盘
    • 真实空间利用率仅50%
    • 容错能力强
  • RAID0+1
    • 结合了RAIDO和 RAID 1
    • 真实空间利用率仅50%
    • 容错能力强，写入带宽好

6：数据库

（1）关系型数据库

关系型数据库是存储系统，但是在存储之外，又发展出其他能力

  • 结构化数据友好
  • 支持事务(AcID)
  • 支持复杂查询语言

（2）非关系型数据库

非关系型数据库也是存储系统,但是一般不要求严格的结构化

  • 半结构化数据友好
  • 可能支持事务(ACID)
  • 可能支持复杂查询语言

（3）比较

  • 结构化数据管理
    关系型数据库操作更清晰简单
  • 事务能力
    • 关系型数据库凸显出数据库支持「事务」的优越性
    • 事务具有︰
      • A(tomicity)，事务内的操作要么全做，要么不做
      • C(onsistency)，事务执行前后，数据状态是一致的
      • l(solation)，可以隔离多个并发事务，避免影响
      • D(urability)，事务一旦提交成功，数据保证持久性
  • 复杂查询能力
    关系型数据库更灵活简洁

二：主流存储产品剖析

1. 单机存储

单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互

（1）本地文件系统

文件系统的管理单元︰文件
文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构: Index Node & Directory Entry

  • lndex Node
    • 记录文件元数据，如id、大小、权限、磁盘位置等
    • inode是一个文件的唯一标识，会被存储到磁盘上
    • inode的总数在格式化文件系统时就固定了
  • Directory Entry
    • 记录文件名、inode指针，层级关系(parent)等
    • dentry是内存结构，与inode的关系是N:1(hardlink的实现)

（2）key-value存储

常见使用方式: put(k, v) & get(k)
常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能

2. 分布式存储

分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互

（1）HDFS：大数据时代基石

  • 时代背景:专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
  • HDFS核心特点:
    • 支持海量数据存储
    • 高容错性
    • 弱POSIX语义
    • 使用普通x86服务器，性价比高
image.png

（2）Ceph：开源分布式存储系统的万金油

  • Ceph的核心特点:
    • 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
    • 数据写入采用主备复制模型
    • 数据分布模型采用CRUSH算法
image.png

3. 单机关系型数据库

商业产品Oracle称王,开源产品MySQL & PostgreSQL称霸
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务

  • 关系型数据库的通用组件:
    • Query Engine ——负责解析query，生成查询计划
    • Txn Manager ——负责事务并发管理
    • Lock Manager ——负责锁相关的策略
    • Storage Engine ——负责组织内存/磁盘数据结构Replication ——负责主备同步
    • 关键内存数据结构:B-Tree、B+-Tree、LRU List等
    • 关键磁盘数据结构:WriteAheadLog (RedoLog). Page

image.png

4. 单机非关系型数据库

MongoDB、Redis、Elasticsearch三足鼎立

  • 关系型数据库一般直接使用SQL交互,而非关系型数据库交互方式各不相同
  • 非关系型数据库的数据结构千奇百怪,没有关系约束后, schema相对灵活
  • 不管是否关系型数据库，大家都在尝试支持SQL(子集)和“事务”

①Elasticsearch：

  • 面向「文档」存储
  • 文档可序列化成JSON，支持嵌套
  • 存在「index] , index=文档的集合
  • 存储和构建索引能力依赖Lucene引擎
  • 实现了大量搜索数据结构&算法
  • 支持RESTFUL API，也支持弱SQL交互

②mongoDB：

  • 面向「文档」存储
  • 文档可序列化成JSON/BSON，支持嵌套
  • 存在「collection」, collection =文档的集合
  • 存储和构建索引能力依赖wiredTiger引擎
  • 4.0后开始支持事务(多文档、跨分片多文档等)
  • 常用client/SDK交互，可通过插件转译支持弱SQL

③redis：

  • 数据结构丰富(hash表、set、zset、list)
  • C语言实现,超高性能
  • 主要基于内存,但支持AOF/RDB持久化
  • 常用redis-cli/多语言SDK交互

5. 分布式数据库

单机数据库存在的问题：容量、弹性、性价比

（1）容量问题解决

image.png

（2）弹性问题解决

image.png

（3）性价比问题解决

image.png

（4）发展方向

  • 单写vs多写
  • 从磁盘弹性到内存弹性
  • 分布式事务优

三：存储与数据库新技术演进

1：软件架构变更

SPDK：Storage Performance Development Kit
Bypass OS kernel

  • Kernel Space -> User Space
    • 避免syscall带来的性能损耗,直接从用户态访问磁盘
  • 中断->轮询
    • 磁盘性能提高后,中断次数随之上升,不利于I0性能
    • SPDK poller可以绑定特定的cpu核不断轮询,减少cs，提高性能
  • 无锁数据结构
    • 使用Lock-free queue，降低并发时的同步开销

2：AI增强：智能存储格式转换

Al领域相关技术，如Machine Learning在很多领域︰如推荐、风控、视觉领域证明了有效性

image.png

3：新硬件革命

  • 存储介质变更
  • 计算单元变更
  • 网络硬件变更

（1）RDMA网络

  • 传统的网络协议栈，需要基于多层网络协议处理数据包,存在用户态&内核态的切换，足够通用但性能不是最佳
  • RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销,减少cpu开销

（2）Persistent Memory

  • 在NVMe SSD和Main Memory间有一种全新的存储产品:Persistent Memory
    • IO时延介于SSD和Memory之间，约百纳秒量级
    • 可以用作易失性内存(memory mode)，也可以用作持久化介质(app-direct)

（3）可编程交换机

P4 Switch，配有编译器、计算单元、DRAM，可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等

（4）COU/GPU/DPU

  • CPU:从multi-core走向many-core
  • GPU:强大的算力&越来越大的显存空间
  • DPU:异构计算，减轻CPU的workload
avatar
文章
阅读
粉丝