这是我参与「第五届青训营 」笔记创作活动的第11天。
存储
经典案例
一条数据从产生,到数据流动,最后持久化的全生命周期
数据持久化
- 校验数据合法性
- 用高效的数据结构组织数据
- 以性能友好|寿命长的方式写入存储介质
存储技术
什么是存储系统
提供了读写、控制类接口,能够安全有效地把数据持久化的软件,可以被称为存储系统。
存储系统特点
数据如何从应用到存储介质
- 缓存很重要,贯穿存储体系
- 拷贝性能代价大,尽量减少拷贝
- 硬件设备多种多样,需要一个抽象统一的接入层
RAID技术
单机存储系统如何做到高性能、高性价比、高可靠性 R(edundant)A(rray) of I(nexpensive)D(isks)
背景:
- 单块大容量磁盘价格 > 多块小容量磁盘
- 单块大容量磁盘写入性能 < 多块磁盘并发写入性能
- 单块磁盘认错能力有限,不安全
数据库
什么是关系模型
关系=集合=任意元素组成的若干有序偶对,反应了事物之间关系
关系型数据库
关系型数据库是存储系统,对结构化数据十分友好、支持事务能力、支持复杂查询语言比如SQL语言
非关系型数据库
非关系型数据库也是存储系统,但是一般不要求严格结构化,对半结构化数据友好,可能支持事务,可能支持复杂查询语言
主流产品剖析
单机Key-value存储
常见的使用方式:put(k,v)&get(k)
常见数据结构:LS-Tree,牺牲读性能,提升写性能
分布式存储
分布式存储系统 = 单机存储的基础上实现分布式协议,涉及大量网络交互
时代背景:高级硬件很贵,同时数据存储量很大,要求高吞吐率
HDFS核心特点:
- 支持海量数据存储
- 高容错性
- 若POSIX语义
- 使用x86服务器,性价比高
小结
本次课程讲述了存储与数据库基本概念,讲述一条数据从产生到持久化过程,并且介绍了几种常见存储技术和数据库软件。