这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天，参与青训营的第28天。今天主要学习了带你认识存储的本质 - 状态
01、经典案例
数据的产生
数据的流动
数据的持久化
02、存储&数据库简介
存储系统特点
- 性能敏感
- 既“简单”又“复杂”
- 容易受硬件影响
- 缓存很重要，贯穿整个存储体系
- 拷贝很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层
RAID技术
Redundant Array of Inexpensive Disks
数据库
关系型：
关系=集合=任意元素组成的若干有序偶对反应了事物间的关系。
关系代数=对关系做运算的抽象查询语言
SQL=一种DSL=方便人类阅读的关系代数表达形式
特点：
- 结构化数据友好
- 支持事务（ACID）
- 支持复杂查询语言
非关系型数据库特点：
- 版结构化数据友好
- 可能支持事务（ACID）
- 可能支持复杂查询语言
结构化数据管理：
关系型数据库以表形式管理
非关系型数据库则需要自行定义，管理结构
事物具有：
- Atomicity, 事务内的操作要么全做，要么不做
- Consistency， 事务执行前后，数据状态是一致的
- Isolation， 可以隔离多个并发事务，避免影响
- Durability，事务一旦提交成功，数据保证持久性
复杂查询能力：
查询能力更加灵活简介
Everything is D(omain) S(pecific) L(anguage)
03、主流产品剖析
3、1 单机存储系统
单机存储=单个计算机节点上的存储系统，一般不涉及网络交互。
Linux文件管理，文件系统繁多，但都遵循VFS的统一抽象接口。
Linux文件系统的两大数据结构：Index Node & Directory Entry
Key-Value存储
常见数据结构：LSM-Tree， 某种程度上牺牲读性能，追求写入性能。
3、2分布式存储系统-HDFS
HDFS：堪称大数据时代的基石
HDFS核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
Cephalexin：开源分布式存储系统里的万金油
核心特点：
- 一套系统支持对象接口、块接口、文件接口、但一切皆是对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH（HASH+权重+随机抽签）算法
3、3单机数据库-关系型数据库
Oracle，MySQL，PostgreSQL
3、4单机数据库-非关系型数据库
MongoDB
- 面向文档存储
- 文档可序列化成JSON/BSON，支持嵌套
- 存在collection，collection=文档的集合
- 存储和构建索引能力依赖wired Tiger引擎
- 4.0后开始支持事务（多文档、跨分片多文档等）
- 常用client/SDK交互，可通过插件转移支持弱SQL
Redis
- 数据结构丰富（hash表，set，zset，list）
- C语言实现，超高性能
- 主要基于内存，但支持AOF/RDB持久化
- 常用redis-cli多语言SDK交互
Elasticsearch
- 面向文档存储
- 文档可序列化成JSON，支持嵌套
- 存在index，index=文档的集合
- 存储和构建索引能力依赖Lucene引擎
- 实现了大量搜索数据结构&算法
- 支持RESTFUL API，也支持弱SQL交互
3、5分布式数据库
解决容量问题
存储节点池化，动态扩缩容
解决弹性问题
动态扩缩容可解决
解决性价比
同样是池化技术
04、新技术演进
软件架构变更
AI增强
新硬件革命
SPDK（Storage Performance Development Kit）
Bypass OS kernel已经成为一种趋势
Kernel Space -》UserSpace
中断-》轮询
无锁数据结构
AI & Storage
AI领域相关技术，如Machine Learning在很多领域，如推荐、风控、视觉领域证明了有效性。
高性能硬件
- RDMA网络
- Persistent Memory
- 可编程交换机
- CPU/GPC/DPU
今日总结：
今日从宏观角度了解了从存储系统到数据库系统再到分布式结构数据库系统，了解学习了整个数据存储过程中遇到的问题和解决方案，以及新技术演进的发展趋势，学习到了数据存储的思维。
