这是我参与「第五届青训营 」伴学笔记创作活动的第 4 天
-
数据的流动：一条用户注册数据——>后端服务器——>数据库（持久化）——>其他系统
-
数据的持久化：校验数据的合法性——>修改内存——>写入存储介质
问题的提出
- 数据库怎么保证数据不丢失？
- 数据库怎么处理多人同时修改的问题？
- 为什么用数据库，除了数据库还能存到别的存储系统吗？
- 数据库只能处理结构化数据吗？
- 有哪些操作数据库的方式，用什么编程语言？
存储&数据库简介
存储系统
Q:什么是存储系统？ A:一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以成为存储系统。 User Medium Memory Network
存储系统——系统特点
- 作为后端软件的底座，性能敏感。
- 存储系统代码，既“简单”又“复杂”。
- 存储系统软件架构，容易受硬件影响。
存储系统——存储器层级结果
persistent Memory 介于持久化介质和内存之间
存储系统——数据怎么从应用到存储介质
- 【缓存】很重要，贯穿整个系统
- 【拷贝】很昂贵，应该尽量减少
- 硬件设备五花八门，需要有抽象统一的接入层
存储系统——RAID技术 Q:单机存储系统怎么做到高性能/高高性价比/高可靠性？ A:redundant array of inexpensive disks
RAID 0
- 多块磁盘简单组合
- 数据条带化存储，提高磁盘单宽
- 没有额外的容错设计
RAID 1
- 一块磁盘对应一块额外镜像磁盘
- 真实空间利用率50%
- 容错能力强
RAID 0+1
- 结合RAID 0 和RAID 1
- 真实空间利用率50%
- 容错能力强、写入带宽好
数据库
数据库和存储系统有什么不一样？ 关系型数据库和非关系型数据库
关系（Relation）是什么？ 关系、关系代数 SQL=一种DSL=Domain Specific Language=方便人类阅读的关系代数表达形式
数据库——关系型数据库的特点 关系型数据库是存储系统，但是在存储之外，又发展出其他能力 特点：结构化数据友好、支持事务（ACID）、支持复杂查询语言
数据库——非关系型数据库的特点 非关系型数据库也是存储系统，但一般不要求严格的结构化 特点：半结构化数据友好、可能支持事务、可能支持复杂查询语言
数据库VS经典存储
-
结构化数据管理
-
事务能力 凸显出数据库支持【事务】的优越性 事务具有：A（atomicity）C（consistent）I（isolation）D（durability）
-
复杂查询能力
主流产品剖析
大纲：
- 单机存储
- 分布式存储
- 单机关系型数据库
- 单机非关系型数据库
- 分布式数据库
单机存储
本地文件系统
Linux经典哲学：一切皆文件 文件系统的管理单元：文件 文件系统接口：文件系统繁多，如Ext2/3/4、sysfs、rootfs等，但都遵循VFS的统一抽象接口 Linux文件系统的两大数据结构 Index Node & Directory Entry Index Node：记录文件元数据，如id、大小、权限、磁盘位置等，inode是一个文件的唯一表示，会被存储到磁盘上，inode的总数在格式化文件系统时就固定了
Directory Entry：记录文件名、inode指针，层级关系（parent）等，dentry是内存结构，与inode的关系是N:1
单机存储-Key——Value
世间一切皆Key—Value 常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能 拳头产品：Rocks
分布式存储
分布式存储=在单机存储基础上实现了分布式协议，涉及大量网络交互
分布式存储文件系统——HDFS
HDFS：堪称大数据时代的基石
HDFS：核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通X86服务器，性价比高
分布式对象存储系统——Ceph
Ceph：开源分布式存储系统的万金油
Ceph的核心特点：
- 一套系统支持对象接口、块接口、文件接口，但一切皆对象
- 数据采用主备复制模型
- 数据分布模型采用【CRUSH】算法
单机数据库
单机数据库=单个计算节点上的数据库系统 事务在单机内执行，也可能通过网络交互式实现分布式事务 分为关系型数据库和非关系型数据库
关系型数据库：Oracle MySQL PostgreSQL 通用组件：
非关系型数据库：MongoDB Redis Elasticsearch三足鼎立 关系型数据库一般直接使用SQL交互、而非关系型数据库交互方式各不同 非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
从单机到分布式数据库
单机数据库遇到那些问题&挑战，需要我们引入分布式架构来解决？
- 解决容量问题
- 解决弹性问题
- 解决性价比问题
分布式数据库——More to DO
新技术演进
软件架构变更：Bypass OS kernel AI增强：智能存储格式转换 新硬件革命：存储介质变更、计算单元变更、网络硬件变更
