这是我参与「第五届青训营 」伴学笔记创作活动的第15天
打基础,记录笔记,赚青豆
一、重点内容
- 存储数据库介绍
- 主流产品剖析
- 新技术演进
二、详细知识点介绍
存储数据库简介
数据库系统
- 关系型数据库特点、最大的特点,事务的一致性
- 通用的SQL语言,使得操作关系型数据库非常方便
- ACID:原子性、一致性、隔离性、持久性
- 表结构严格,存储数据很难出错 非关系型数据库特点
- 使用键值对存储数据
- 数据没有耦合性,易扩展
- 不提供sql,无事务处理
- 不需要经过sql层的解析,性能很高
- 数据存储更加灵活,但是可能导致数据不一致性的问题
主流产品剖析
单机存储
- 单机存储 = 单个计算机节点上的存储软件系统,一般不涉及网络交互
- 单机数据库 = 单个计算机节点上的数据库系统
- 事务在单机内执行,也可能通过网络交互实现分布式事务 本地文件系统
Linux 经典哲学:一切皆文件
- 文件系统的管理单元:文件
- 文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口 Linux文件系统的两大数据结构: Index Node
- 记录文件元数据如id、大小、权限、磁盘位置等
- inode是一个文件的唯一标识,会被存储在硬盘上
- inode的总数在格式化文件系统时就被固定了
- Directory Entry记录文件名、inode指针、层级关系等
- dentry是内存结构,与inode的关系是N : 1(hardlink的实现) key-value存储
- ——key是你的身份证,value是你的内涵
- 常见的使用方式:put(k,v) & get(k)
- 常见的数据结构:LSM-Tree,某种程度上牺牲读性能,追求写入性能
分布式存储
分布式存储 = 在单机存储基础上实现了分布式协议,涉及大量网络交互
分布式文件系统
HDFS:堪称大数据时代的基石
-
时代背景:专用的高级硬件很贵,同时数据存量很大,要求超高吞吐
-
HFDS核心特点:支持海量数据存储,高容错性
-
新技术演进
-
软件架构变更:Bypass OS kernel,Al增强
-
智能存储格式转换:新硬件革命
-
存储介质变更:计算单元变更,网络硬件变更
三、课后个人总结
今天做了关于数据库存储的内容,平常就只是使用一下数据库mysql,深挖还是有很多知识,果然入门简单,精通难,还是认识了许多的知识内容