一、带你认识存储&数据库

斩码飞刀
53 阅读5分钟

一、带你认识存储&数据库

一条数据从产生，到数据流动、最后持久化的全生命周期。

每当我们注册一个APP应用时，填好资料，按下注册按钮后，一条数据就产生了，并且向后端服务器飞奔而去。

数据的流动：

image-20230803101015800

数据的持久化：

检验数据的合法性（用户是否已经存在）-> 修改内存（用高效的数据结构组织数据）-> 写入存储介质（以寿命&性能友好的方式写入硬件中）

潜在的问题：

数据库怎么保证数据不丢？

数据库怎么处理多人同时修改的问题？

为什么用数据库，除了数据库还能存到别的存储系统中吗？

数据库只能处理结构化数据吗？

有哪些操作数据库的方式，要用什么编程语言？

什么是存储系统，什么是数据库系统？

存储系统：一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件。

特点：

  • 性能敏感----后端软件的底座
  • 存储系统软件架构，容易受硬件影响
  • 存储系统代码，既简单又复杂

数据怎么从应用到存储介质

缓存：贯穿整个存储体系

拷贝：很昂贵，应该尽量减少

硬件设备五花八门。需要有抽象统一的接入层。

RAID技术

R(edundant) A(rray) of l(nexpensive) D(isks)

背景：单块大容量磁盘的价格高，容错能力有限、不够安全，多块磁盘的并发写入性能高。

单机存储系统怎么做到高性能 / 高性价比 /高可靠性

  • RAID 0

    • 多块磁盘简单组合
    • 数据条带化存储，提高磁盘带宽
    • 没有额外的容错设计

  • RAID 1

    • 一块磁盘对应一块额外镜像盘
    • 真实空间利用率仅50%
    • 容错能力强

  • RAID 0+1

    • 结合了RAID 0 和 RAID 1
    • 真实空间利用率仅50%
    • 容错能力强，写入带宽好

数据库分类：

image-20230803103142434

关系（Relation）：

关系代数、关系、集合、交、并、笛卡尔积....

SQL 方便人类阅读的关系代数表达形式。

关系数据库是存储系统：结构化友好、支持事务（ACID）、支持SQL查询语言

非关系数据库：半结构化数据友好，可能支持事务、可能支持复杂查询语言。

数据库与经典存储的区别：

关系型数据库：以表格的形式管理数据

  • 事务能力：

    • A 事务内的操作，要么全做，要么不做
    • C 事务执行前后，数据状态是一致的
    • I 可以隔离多个并发事务，避免影响
    • D 事务一旦提交成功，数据保证持久性

  • 复杂查询能力：灵活简洁

  • 数据库的使用方式：sql ：insert、update、select、delete、create....

经典存储：写入文件，自行定义管理结构。

  • 复杂查询能力：僵化、复杂

主流产品分析：

单机存储：

单机存储 = 单个计算机节点上的存储软件系统，一般不涉及网络交互

  • 本地文件系统
  • key-value存储

本地文件系统：

Linux：一切皆是文件

数据结构：

  • index Node

    记录文件元数据，如id、大小、权限、磁盘位置等

    inode是一个文件的唯一标识，会被存储到磁盘上inode的总数在格式化文件系统时就固定了

  • Directory Rntry

    记录文件名、inode指针，层级关系(parent)等dentry是内存结构，与inode的关系是N:1(hardlink的实现

key-value存储：

key是你的身份证、value是你的内涵！！！

put(k,v) 、get(k)

数据结构：LSM-Tree，某种程度上牺牲读性能、追求写入性能。

产品：RocksDB

分布式存储：

分布式存储 = 在单机存储基础上实现了分布式协议，涉及大量网络交互

  • 分布式文件系统
  • 分布式对象存储

HDFS：大数据时代的基石

时代背景：专用高级硬件很贵，数据存量很大，要求超高吞吐

HDFS核心特点：

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通的X86服务器，性价比高

Ceph：开源分布式存储系统的万金油，

核心特点：

  • 一套系统支持对象接口、块接口、文件接口、但是一切皆是对象
  • 数据写入采用 主备复制模型
  • 数据分布模型 采用 CRUSH 算法（Hash + 权重 + 随机抽签）

单机关系型数据库：

商业产品：Oracle

开源产品：MySQL & PostgreSQL

单机非关系型数据库

MongoDB、Redis、ELasticsearch

数据结构千奇百怪

MongoDB：

  • 面向[文档] 存储
  • 文档可序列化成JSON/BSON，支持嵌套
  • 存在 [collection]，collection = 文档的集合 存储和构建索引能力依赖wiredTiger引擎
  • 4.0后开始支持事务(多文档、跨分片多文档等)
  • 常用client/SDK交互，可通过插件转译支持弱SQL

Redis：

  • 数据结构丰富 (hash表、set、zset、list)
  • C语言实现，超高性能
  • 主要基于内存，但支持AOF/RDB持久化
  • 常用redis-cli/多语言SDK交互

ELasticsearch ：

  • 面向 [文档] 存储
  • 文档可序列化成JSON，支持嵌套
  • 存在 [index]，index = 文档的集合
  • 存储和构建索引能力依赖Lucene引擎
  • 实现了大量搜索数据结构 & 算法
  • 支持RESTFUL API，也支持弱SOL交互
avatar
文章
阅读
粉丝