存储和数据库
经典案例
数据的产生
某天，小明同学下载了一个新的APP。因为第一次登陆，所以进入APP后需要注册一个新的账号
用户名：小明
密码：helloworld
密码提示问题：coding
...
于是小明同学三下五除二地填好了资料，按下了[注册]按钮
就这样，数据就从无到有地产生了，并且在数十/数百毫秒内向APP的后端服务器飞奔而去······
数据的流动
数据的持久化
潜在的问题
数据库怎么保证数据不丢？
数据库怎么处理多人同时修改的问题？
为什么用数据库，除了数据库还能存到别的存储系统吗？
数据库只能处理结构化数据吗？
有哪些操作数据库的方式，要用什么编程语言？
存储&数据库简介
存储系统
系统概念
定义：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统
系统特点
作为后端软件的底座，性能敏感
存储系统代码，即“简单”又“复杂”
存储系统软件架构，容易受硬件影响
存储器层级结构
数据怎么从应用到存储介质
「缓存」很重要，贯穿整个存储体系
「拷贝」很昂贵，应该尽量减少
硬件设备五花八门，需要有抽象统一的接入层
RAID技术
问题：单机存储系统怎么做到高性能/高性价比/高可靠性？
答：Redudant Array of Inexpensive Disks
RAID出现的背景
单块大容量磁盘的价格 > 多块小容量磁盘
单块磁盘的写入性能 < 多块磁盘的并发写入性能
单块磁盘的容错能力有限，不够安全
RAID 0
多块磁盘简单组合
数据条带化存储，提高磁盘带宽
没有额外的容错设计
RAID 1
一块磁盘对应一块额外镜像盘
真实空间利用率仅50%
容错能力强
RAID 0+1
结合了RAID 0和RAID 1
真实空间利用率仅50%
容错能力强、写入带宽好
数据库
概览
关系（Relation）又是什么？
关系 = 集合 = 任意元素组成的若干有序偶对反应了事物间的关系
关系代数 = 对关系作运算的抽象查询语言
交、并、笛卡尔积......
SQL = 一种DSL = 方便人类阅读的关系代数表达形式
关系型数据库特点
关系型数据库是存储系统，但是在存储之外，又发展出其他能力
非关系型数据库特点
非关系型数据库也是存储系统，但是一般不要求严格的结构化
数据库VS经典存储
结构化数据管理
事务能力
凸显出数据库支持「事务」的优越性
事务具有
Atomicity：事务内的操作要么全做，要么全不做
Consistency：事务执行前后，数据状态是一致的
Isolation：可以隔离多个并发事务，避免影响
Durability：事务一旦提交成功，数据保证持久性
复杂查询能力
问题：写入数据之后，想做很复杂的查询怎么办？
例如：请查询出名字以xiao开头，且密码提示问题小于10个字的人，并按性别粉猪统计人数
数据库使用方式
Everything is Domain Specific Language → maybe SQL
以SQL为例。要操作数据时，支持以下操作：
Insert
Update
Selete
Delete
Where子句
GroupBy
OrderBy
要对数据定义做修改时，支持以下操作
Create user
Create database
Create table
Alter table
......
主流产品刨析
单机存储
概览
单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互
本地文件系统
Linux经典哲学：一切接文件
文件系统的管理单元：文件
文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构：Index Node & Directory Entry
Index Node
记录文件元数据，如id、大小、权限、磁盘位置等
inode是一个文件的唯一标识，会被存储到磁盘上
inode的总数在格式化文件系统时就固定了
Directory Entry
记录文件名、inode指针，层级关系（parent）等
dentry是内存结构，与inode的关系是N:1(hardlink的实现)
key-value存储
常见使用方式：put(k,v) & get(k)
常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB
分布式存储
概览
分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互
HDFS
HDFS堪称大数据时代的基石
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：
支持海量数据存储
高容错性
弱POSIX语义
使用普通x86服务器，性价比高
Ceph
Ceph是开源分布式存储系统里的「万金油」
Ceph的核心特点：
一套系统支持对象接口、块接口、文件接口，但是一切皆对象
数据写入采用主备复制模型
数据分布模型采用CRUSH算法（CRUSH算法 = HASH + 权重 + 随机抽签）
单机数据库
概览
单机数据库 = 单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
关系型数据库
商业产品Oracle称王，开源产品MySQL&PostgreSQL称霸
MySQL
关系型数据库的通用组件：
Query Engine — 负责解析query，生成查询计划
Txn Manager — 负责事务并发管理
Lock Manager — 负责锁相关的策略
Storage Engine — 负责组织内存/磁盘数据结构
Replication — 负责主备同步
PostgreSQL
关键内存数据结构：B-Tree、B+-Tree、LRU List等
关键磁盘数据结构：WriteAheadLog（RedoLog）、Page
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL（子集）和“事务”
Elasticsearch
面向「文档」存储
文档可序列化成JSON，支持嵌套
存在「index」，index = 文档的集合
存储和构建索引能力依赖Lucene引擎
实现了大量搜索数据结构&算法
支持RESTFUL API，也支持弱SQL交互
mongoDB
面向「文档」存储
文档可序列化成JSON/BSON，支持嵌套
存在「collection」，collection = 文档的集合
存储和构建索引能力依赖wiredTiger引擎
4.0后开始支持事务（多文档、跨分片多文档等）
常用client/SDK交互，可通过插件转译支持弱SQL
Redis
数据结构丰富（hash表、set、zset、list）
c语言实现，超高性能
主要基于内存，但支持AOF/RDB持久化
常用redis-cli/多语言SDK交互
Elasticsearch使用案例
支持模糊搜索的数据库
分布式数据库
解决容量问题
解决了单机数据库容量受限制的问题
单机数据库
分布式数据库
解决弹性问题
解决性价比问题
More to Do
新技术演进
概览
SPDK
AI&Storage
AI领域相关技术，如Machine Learning在很多领域：如推荐、风控、视觉领域证明了有效性
高性能硬件
RDMA网络
传统的网络协议栈，需要基于多层网络协议处理数据包，存在用户态&内核态的切换，足够通用但性能不是最佳
RDMA是kernel bypass的流派，不经过传统的网络协议栈，可以把用户态虚拟内存映射给网卡，减少拷贝开销，减少CPU开销
Persistent Memory
在NVMe SSD和Main Memory间有一种全新的存储产品：Persistene Memory
IO时延介于SSD和Memory之间，约百纳秒量级
可以用作易失性内存（memory mode），也可以用作持久性介质（app-direct）
可编程交换机
P4 Switch配有编译器、计算单元、DRAM,可以在交换机层对网络包做计算逻辑。在数据库场景下，可以实现缓存一致性协议等
CPU/GPU/DPU
CPU：从multi-core走向many-core
GPU：强大的算力&越来越大的显存空间
DPU：异构计算，减轻CPU的workload
