这是我参与「第五届青训营 」伴学笔记创作活动的第14天
存储 & 数据库简介
-
存储系统概览：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件
- 存储系统特点：性能敏感、容易受硬件影响
- 存储器层级结构：位于持久性存储
- 单机存储栈：从应用到介质——缓存、系统调用、内核缓存、内核写入磁盘
- RAID技术：冗余磁盘阵列
-
数据库系统概览
-
关系型数据库特点
- 结构化数据友好、支持事务、支持复杂查询语言
-
非关系型数据库特点
- 半结构化数据友好、可能支持事务、可能支持复杂查询语言
-
数据库 vs 经典存储
-
数据库使用方式
-
主流产品剖析
-
单机存储产品
- 单机文件系统：单个计算机上存储、一般不涉及网络交互
- 单机key-value存储：一切皆kv
-
分布式存储产品
-
HDFS：大数据时代的基石
- 海量数据存储
- 高容错性
- 弱POSIX语义
- 普通x86服务器，性价比高
-
Ceph
- 一切皆对象
- 主备复制模型
- CRUSH算法
-
-
单机数据库产品
-
关系型数据库 —— PG、MySQL
- MySQL：Query Engine、Txn Manager、Lock Manager、Storage Engine、Replication
- 关键内存数据结构：B-Tree、B+-Tree
- 关键磁盘数据结构：WriteAheadLog、Page
-
非关系型数据库 —— ES、MongoDB、Redis
-
Elasticsearch使用案例
-
-
分布式数据库产品
- 问题与挑战
- 解决方案
新技术演进
- SPDK
- 人工智能
- 新硬件加速
课后思考
写入存储系统的粒度太大，会不会导致数据原子性问题？例如一次性写100MB，如果系统突然crash，会不会只有一部分数据持久化了，另一部分丢失了？如果要解决原子性问题，一般会设计什么机制？
在从应用程序到存储介质的链路上，无论读还是写，数据可能要被拷贝好几次，这几次拷贝能不能去掉？如果我们去掉大部分拷贝操作，会有什么副作用，要怎么缓解副作用？
一个关系型数据库大概率是会被并发访问的，如果要保证并发安全，除了在行数据上加悲观锁还有其他方式吗？
在数据库领域，把数据按行存和按列存各有好处，你能从性能优先的角度设计出一种混合存储格式吗？
