前言

这是我参与「第五届青训营 」伴学笔记创作活动的第 16 天

今日学习内容：

• 经典案例
• 存储 & 数据库简介
• 主流产品剖析
• 新技术演进

正文

数据流动的全生命周期

数据的流动

数据的持久化

潜在的问题

• 数据库怎么保证数据不丢？
• 数据库怎么处理多人同时修改的问题？
• 为什么用数据库，除了数据库还能存到别的存储系统吗？
• 数据库只能处理结构化数据吗？
• 有哪些操作数据库的方式，要用什么编程语言？

存储 & 数据库简介

什么是存储系统

一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统。

系统特点

• 作为后端软件的底座，性能敏感
• 存储系统软件架构，容易受硬件影响
• 存储系统代码，既“简单”又“复杂”

存储器层级结构

数据怎么从应用到存储介质

RAID 技术

关系型数据库特点

关系型数据库是存储系统，但是在存储之外，又发展出其他能力。

• 结构化数据友好
• 支持事务（ACID）
• 支持复杂查询语言

非关系型数据库也是存储系统，但是一般不要求严格的结构化。

• 半结构化友好
• 可能支持事务
• 可能支持复杂查询语言

结构化数据管理

事务能力

复杂查询能力

数据库使用方式

Everything is D（Domain）S（Special）L（Language）

主流的存储 & 数据库系统架构

单机存储

单机存储 = 单个计算节点上的存储软件系统，一般不涉及网络交互

• 本地文件系统
• key-value 存储

本地文件系统

key-value 存储

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

• 分布式文件系统
• 分布式对象存储

HDFS

Ceph

单机关系型数据库

单机数据库 = 单个计算机节点上的数据库系统

事务在单机内执行，也可能通过网络交互实现分布式事务

• 关系型数据库
• 非关系型数据库

单机非关系型数据库

• ElasticSearch

  • 面向「文档」存储
  • 文档可序列化成 JSON，支持嵌套
  • 存在 「index」，index = 文档的集合
  • 存储和构建索引能力依赖 Lucene 引擎
  • 实现了大量搜索数据结构 & 算法
  • 支持 RESTFUL API，也支持弱 SQL 交互

• mongoDB

  • 面向「文档」存储
  • 文档可序列化成 JSON/BSON，支持嵌套
  • 存在「Collection」，collection = 文档的集合
  • 存储和构建索引能力依赖 wiredTiger 引擎
  • 4.0 后开始支持事务（多文档、跨分片多文档等）
  • 常用 client/SDK 交互，可通过插件转译支持弱 SQL

• Redis

  • 数据结构丰富（Hash表，Set,Zset，list）
  • C 语言实现，超高性能
  • 主要基于内存，但支持 AOF/RDB 持久化
  • 常用 redis-cli/多语言 SDK 交互

分布式数据库

单机数据库遇到了哪些问题 & 挑战，需要我们引入分布式架构来解决？

• 容量
• 弹性
• 性价比

解决容量问题

解决弹性问题

解决性价比问题

新技术演进

• 软件架构变更：Bypass OS kernel
• AI 增强：智能存储格式转换
• 新硬件革命：存储介质/计算单元/网络硬件变更