这是我参与[第五届青训营]伴学笔记创作活动的第 14 天
数据的持久化
潜在的问题
- 数据库怎么保证
数据不丢? - 数据库怎么处理
多人同时修改的问题? - 为什么用数据库．除了数据库还能存到
别的存储系统吗? - 数据库只能处理
结构化数据吗? - 有哪些操作数据库的方式，要用什么
编程语言?
存储&数据库简介
存储系统
一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
存储系统一系统特点
- 作为后端软件的底座，
性能敏感 - 存储系统软件架构,
容易受硬件影响 - 存储系统
代码，既“简单"又"复杂"
存储系统-存储器层级结构
存储系统-数据怎么从应用到存储介质
「缓存」很重要，贯穿整个存储体系，在硬件与软件之间提供两者更友好的访问「拷贝」很昂贵，应该尽量减少- 硬件设备五花八门，需要有抽象统一的接入层
存储系统—RAID技术
高性能、高性价比、高可靠性
R(edundant) A(rray) of I(nexpensive) D(isks)
RAID出现背景
- 单块大容量磁盘的价格>多块小容量磁盘
- 单块磁盘的写入性能<多块磁盘的并发写入性能
- 单块磁盘的容错能力有限，不够安全
数据库
数据库一关系型数据库特点
关系型数据库是存储系统,但是在存储之外，又发展出其他能力
- 结构数据友好
- 支持事务（ACID）
- 支持复杂查询语言（SQL）
数据库一非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
- 半结构化数据友好
- 可能支持事务(ACID)
- 可能支持复杂查询语言
数据库vs经典存储一事务能力
事务具有
A(tomicity)，事务内的操作要么全做，要么不做C(onsistency)，事务执行前后，数据状态是一致的I(solation)，可以隔离多个并发事务，避免影响D(urability)，事务一旦提交成功，数据保证持久性
主流产品剖析
一、单机存储
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互
- 本地文件系统
- key - value存储
单机存储一本地文件系统
Linux文件系统的两大数据结构: Index Node & Directory Entry
lndex Node：记录文件元数据．如id、大小、权限、磁盘位置等inode是一个文件的唯一标识，会被存储到磁盘上
inode的总数在格式化文件系统时就固定了
Directory Entry：记录文件名、inode指针，层级关系(parent)等,dentry是内存结构,与inode的关系是N:1(hardlink的实现)
单机存储一key-value存储
常见使用方式: put(k, v)& get(k)
常见数据结构: LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品:RocksDB
二、分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
- 分布式文件系统
- 分布式对象存储
分布式存储—HDFS
时代背景: 专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点:
- 支持
海量数据存储-高容错性 - 弱
POSIX语义 - 使用普通x86服务器,
性价比高
分布式存储-Ceph
Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口,但是
一切皆对象 - 数据写入采用
主备复制模型 - 数据分布模型采用
CRUSH算法（HASH ＋权重+随机抽签）
三、单机数据库
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
- 关系型数据库
- 非关系型数据库
单机数据库一关系型数据库
MySQL PostgreSQL
关系型数据库的通用组件:
- Query Engine ——负责解析query，生成查询计划
- Txn Manager ——负责事务并发管理
- Lock Manager ——负责锁相关的策略
- Storage Engine ——负责组织内存/磁盘数据结构
- Replication ——负责主备同步
- 关键内存数据结构:B一Tree、B+一Tree、LRU List等
- 关键磁盘数据结构: WriteAheadLog (RedoLog)、Page
单机数据库一非关系型数据库
MongoDB、 Redis、 Elasticsearch
Elasticsearch
- 面向
「文档」存储 - 文档可序列化成JSON，支持嵌套
- 存在「index] . index= 文档的集合
- 存储和构建索引能力依赖Lucene引擎
- 实现了大量搜索数据结构 & 算法
- 支持RESTFUL API，也支持弱sQL交互
MongoDB
- 面向「文档」存储
- 文档可序列化成JSON/BSON，支持嵌套
- 存在[collection].collection=文档的集合
- 存储和构建索引能力依赖wiredTiger引擎
- 4.0后开始支持事务(多文档、跨分片多文档等)
- 常用client/SDK交互.可通过插件转译支持弱SQL
Redis
数据结构丰富(hash表、 set、zset、list)- C语言实现.超高性能
- 主要基于内存.但支持AOF/RDB持久化
- 常用redis一cli/多语言SDK交互
四、分布式数据库
存储节点池化，动态扩缩容
- 单写 vs
多写 - 从磁盘弹性到
内存弹性 分布式事务优化
新技术演进
软件架构变更
- Bypass OS kernel
AI增强
- 智能存储格式转换
新硬件革命
- 存储介质变更
- 计算单元变更
- 网络硬件变更
新技术演进一高性能硬件
RDMA网络
Persistent Memory
可编程交换机
CPU/GPU/DPU
