这是我参与「第五届青训营」伴学笔记创作活动的第16天。本篇为第五届字节跳动青训营-寒假专场-后端基础课程的笔记。

经典案例

一条数据从产生，到数据流动，最后持久化的全生命周期。

• 数据的持久化

  • 校验数据的合法性
  • 修改内存
  • 写入存储介质

• 潜在问题

  • 数据库怎么保证数据不丢？
  • 数据库怎么处理？
  • 为什么用数据库，除了数据库还能存到别的存储系统吗？
  • 数据库只能处理结构化数据吗？
  • 有哪些操作数据库的方式，要用什么编程语言？

2 存储与数据库介绍

存储系统

定义

存储系统是一个提供了读写、控制类接口，能够安全有效地把数据持久化的软件

特点

• 性能敏感
• 易受硬件影响
• 存储系统代码，既“简单”又“复杂”

数据怎么从应用到存储介质

• 缓存很重要，贯穿整个存储体系
• 拷贝很昂贵，尽量减少
• 设备多样需要有统一的接口

RAID技术

RAID出现的背景:

• 单块大容量磁盘的价格>多块小容量磁盘
• 单块磁盘的写入性能<多块磁盘的并发写入性能
• 单块磁盘的容错能力有限，不够安全

数据库

• 关系型数据库

  是存储系统，但在存储之外又发展出其他能力

  • 结构化数据友好
  • 支持事务
  • 支持复杂查询语言

• 非关系型数据库

  也是存储系统，但是一般不要求严格的结构化

  • 半结构化数据友好

  • 可能支持事务

  • 可能支持复杂查询语言

主流产品剖析

• 单机存储产品

  • 单机文件系统
  • 单机key-value存储

• 分布式存储产品

  • HDFS
  • Ceph

• 单机数据库产品

  • 关系型数据库 —— PG、MySQL
  • 非关系型数据库 —— ES、MongoDB、Redis
  • Elasticsearch使用案例

• 分布式数据库产品

  • 问题与挑战
  • 解决方案

新技术演进

• SPDK

• 人工智能

• 新硬件加速