这是我参与「第五届青训营 」伴学笔记创作活动的第14天

01.经典案例

一条数据从产生，到数据流动，最后持久化的全生命周期

校验数据的合法性

“小明”是否已存在?

修改内存

用高效的数据结构组织数据

写入存储介质

以寿命&性能友好的方式写入硬件

潜在的问题

数据库怎么保证数据不丢?

数据库怎么处理多人同时修改的问题?

为什么用数据库,除了数据库还能存到别的存储系统吗?

数据库只能处理结构化数据吗?

有哪些操作数据库的方式,要用什么编程语言?

02存储&数据库简介

什么是存储系统，什么是数据库系统?

Q:什么是存储系统?

A:一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件，就可以称为存储系统

「缓存」很重要，贯穿整个存储体系

「拷贝」很昂贵，应该尽量减少

硬件设备五花八门，需要有抽象统一的接入层

单机存储系统怎么做到高性能/高性价比/高可靠性?

A : R(edundant) A(rray) of Inexpensive) D(isks)

RAID出现的背景︰

·单块大容量磁盘的价格>多块小容量磁盘

·单块磁盘的写入性能<多块磁盘的并发写入性能

·单块磁盘的容错能力有限，不够安全

03.主流产品剖析

3.1单机存储一概览

单机存储=单个计算机节点上的存储软件系统,一般不涉及网络交互

Linux经典哲学:一切皆文件 文件系统的管理单元∶文件 文件系统接口︰文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口Linux文件系统的两大数据结构:Index Node & Directory Entry

3.1单机存储一key-value存储

世间一切皆key-value

—key是你身份证，value是你的内涵:)

常见使用方式: put(k, v) & get(k)

常见数据结构:LSM-Tree，某种程度上牺牲读性能，追求写入性能

拳头产品:RocksDB

3.2分布式存储一HDFS

HDFS:堪称大数据时代的基石

时代背景:专用的高级硬件很贵，同时数据存量很大,要求超高吞吐

HDFS核心特点

支持海量数据存储 高容错性 弱POSIX语义 使用普通x86服务器，性价比高

3.2分布式存储一Ceph

Ceph :开源分布式存储系统里的「万金油」

Ceph的核心特点

一套系统支持对象接口、块接口、文件接口， 但是一切皆对象 数据写入采用主备复制模型数据分布模型采用CRUSH算法

4.1新技术演进一概览

软件架构变更

·Bypass OS kernel

Al增强

·智能存储格式转换

新硬件革命

·存储介质变更

·计算单元变更

·网络硬件变更

4.2新技术演进一 SPDK

Bypass OS kernel已经成为一种趋势

4.3新技术演进一Al & Storage

AI领域相关技术，如Machine Learning在很多领域︰如推荐、风控、视觉领域证明了有效性在Storage领域，AI能给我们带来什么改变?

4.4新技术演进一高性能硬件

总结

存储系统

块存储:存储软件栈里的底层系统,接口过于朴素

文件存储:日常使用最广泛的存储系统，接口十分友好，实现五花八门

对象存储:公有云上的王牌产品, immutable语义加持

key-value存储:形式最灵活，存在大量的开源/黑盒产品

数据库系统 关系型数据库︰基于关系和关系代数构建的，一般支持事务和SQL访问，使用体验友好的存储产品。

非关系型数据库:结构灵活，访问方式灵活，针对不同场景有不同的针对性产品

分布式架构 数据分布策略︰决定了数据怎么分布到集群里的多个物理节点，是否均匀，是否能做到高性能

数据复制协议:影响IO路径的性能、机器故障场景的处理方式

分布式事务算法︰多个数据库节点协同保障一个事务的ACID特性的算法，通常基于2pc的思想设计