这是我参与「第五届青训营」伴学笔记创作活动的第16天。本篇为第五届字节跳动青训营-寒假专场-后端基础课程的笔记。

经典案例

一条数据从产生，到数据流动，最后持久化的全生命周期。

• 数据的持久化
  • 校验数据的合法性
  • 修改内存
  • 写入存储介质
• 潜在问题
  • 数据库怎么保证数据不丢？
  • 数据库怎么处理？
  • 为什么用数据库，除了数据库还能存到别的存储系统吗？
  • 数据库只能处理结构化数据吗？
  • 有哪些操作数据库的方式，要用什么编程语言？

存储 & 数据库简介

• 存储系统概览

  • 存储系统特点

    • 性能敏感
    • 简单复杂
    • 容易受硬件影响

  • 存储器层级结构

  • 单机存储栈

  • RAID技术

    • 高性能
    • 高性价比
    • 高可靠性
    • 背景：
      • 单块大容量磁盘的价格>多块小容量磁盘
      • 单块磁盘的写入性能<多块磁盘的并发写入性能
      • 单块磁盘的容错能力有限，不够安全
• 数据库系统概览
  • 关系型数据库特点
    • 关系型数据库是存储系统，但是在储存之外，又发展出其他能力
    • 结构化数据友好
    • 支持事务
    • 支持复杂查询语言
  • 非关系型数据库特点
    • 非关系型数据库也是存储系统，但是一般不要求严格的结构化
    • 半结构化数据友好
    • 可能支持事务
    • 可能支持复杂查询语言
  • 数据库 vs 经典存储
    • 结构化数据管理
    • 事务能力
    • 复杂查询能力
  • 数据库使用方式
    • SQL

主流产品剖析

• 单机存储产品
  • 单机文件系统
  • 单机key-value存储
• 分布式存储产品
  • HDFS
  • Ceph
• 单机数据库产品
  • 关系型数据库 —— PG、MySQL
  • 非关系型数据库 —— ES、MongoDB、Redis
  • Elasticsearch使用案例
• 分布式数据库产品
  • 问题与挑战
  • 解决方案

新技术演进

• SPDK
• 人工智能
• 新硬件加速