存储与数据库| 青训营笔记

55 阅读2分钟

这是我参与「第五届青训营 」笔记创作活动的第11天。

存储

经典案例

一条数据从产生,到数据流动,最后持久化的全生命周期

数据持久化

  1. 校验数据合法性
  2. 用高效的数据结构组织数据
  3. 以性能友好|寿命长的方式写入存储介质

存储技术

什么是存储系统

提供了读写、控制类接口,能够安全有效地把数据持久化的软件,可以被称为存储系统。

存储系统特点

image.png

数据如何从应用到存储介质

image.png

  1. 缓存很重要,贯穿存储体系
  2. 拷贝性能代价大,尽量减少拷贝
  3. 硬件设备多种多样,需要一个抽象统一的接入层

RAID技术

单机存储系统如何做到高性能、高性价比、高可靠性 R(edundant)A(rray) of I(nexpensive)D(isks)

背景:

  1. 单块大容量磁盘价格 > 多块小容量磁盘
  2. 单块大容量磁盘写入性能 < 多块磁盘并发写入性能
  3. 单块磁盘认错能力有限,不安全

数据库

什么是关系模型

关系=集合=任意元素组成的若干有序偶对,反应了事物之间关系

关系型数据库

关系型数据库是存储系统,对结构化数据十分友好、支持事务能力、支持复杂查询语言比如SQL语言

非关系型数据库

非关系型数据库也是存储系统,但是一般不要求严格结构化,对半结构化数据友好,可能支持事务,可能支持复杂查询语言

主流产品剖析

单机Key-value存储

常见的使用方式:put(k,v)&get(k)
常见数据结构:LS-Tree,牺牲读性能,提升写性能

分布式存储

分布式存储系统 = 单机存储的基础上实现分布式协议,涉及大量网络交互
时代背景:高级硬件很贵,同时数据存储量很大,要求高吞吐率
HDFS核心特点:

  1. 支持海量数据存储
  2. 高容错性
  3. 若POSIX语义
  4. 使用x86服务器,性价比高

image.png

小结

本次课程讲述了存储与数据库基本概念,讲述一条数据从产生到持久化过程,并且介绍了几种常见存储技术和数据库软件。