带你认识存储的本质 - 状态| 青训营笔记

124 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第15天

打基础,记录笔记,赚青豆

一、重点内容

  • 存储数据库介绍
  • 主流产品剖析
  • 新技术演进

二、详细知识点介绍

存储数据库简介

数据库系统

  • 关系型数据库特点、最大的特点,事务的一致性
  • 通用的SQL语言,使得操作关系型数据库非常方便
  • ACID:原子性、一致性、隔离性、持久性
  • 表结构严格,存储数据很难出错 非关系型数据库特点
  • 使用键值对存储数据
  • 数据没有耦合性,易扩展
  • 不提供sql,无事务处理
  • 不需要经过sql层的解析,性能很高
  • 数据存储更加灵活,但是可能导致数据不一致性的问题

主流产品剖析

单机存储

  • 单机存储 = 单个计算机节点上的存储软件系统,一般不涉及网络交互
  • 单机数据库 = 单个计算机节点上的数据库系统
  • 事务在单机内执行,也可能通过网络交互实现分布式事务 本地文件系统

Linux 经典哲学:一切皆文件

  • 文件系统的管理单元:文件
  • 文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口 Linux文件系统的两大数据结构: Index Node
  • 记录文件元数据如id、大小、权限、磁盘位置等
  • inode是一个文件的唯一标识,会被存储在硬盘上
  • inode的总数在格式化文件系统时就被固定了
  • Directory Entry记录文件名、inode指针、层级关系等
  • dentry是内存结构,与inode的关系是N : 1(hardlink的实现) key-value存储
  • ——key是你的身份证,value是你的内涵
  • 常见的使用方式:put(k,v) & get(k)
  • 常见的数据结构:LSM-Tree,某种程度上牺牲读性能,追求写入性能

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议,涉及大量网络交互

分布式文件系统

HDFS:堪称大数据时代的基石

  • 时代背景:专用的高级硬件很贵,同时数据存量很大,要求超高吞吐

  • HFDS核心特点:支持海量数据存储,高容错性

  • 新技术演进

  • 软件架构变更:Bypass OS kernel,Al增强

  • 智能存储格式转换:新硬件革命

  • 存储介质变更:计算单元变更,网络硬件变更

三、课后个人总结

今天做了关于数据库存储的内容,平常就只是使用一下数据库mysql,深挖还是有很多知识,果然入门简单,精通难,还是认识了许多的知识内容