了解抖音背后的对象存储 | 豆包MarsCode AI刷题

87 阅读3分钟
  • 对象存储:

一、引入:抖音背后的存储1)概要架构:片源 -> 审核 -> 推荐2)具体流程链路:海量数据需要存储3)分析:存储的难点和要求二、为什么对象存储1)存储方式的对比:适合对象存储


一、引入:抖音背后的存储

1)概要架构:片源 -> 审核 -> 推荐

image-20241124154252895

2)具体流程链路:海量数据需要存储

image-20241124154543437

3)分析:存储的难点和要求

  • 存储量极大:

image-20241124154619258

  • 存储的要求:

image-20241124154828462

二、为什么对象存储

1)存储方式的对比:适合对象存储

  • 一、四种存储技术:

image-20241124160042148

  • 二、其中分布式存储适合现在的场景:
  • ①理解分布式数据库:即利用数据库存储数据在多个节点,做成集群以提高容量、性能等
  • ②理解分布式存储:即不一定是将数据存进数据库,可能只是将数据存储在不同节点上的技术
  • ③理解对象存储:即不同的数据(比如视频、图片),将它们和相关的数据(比如属于哪个用户),打包成一个对象,利用分布式存储的功能将这些对象存储在不同节点的不同的Bucket(桶)中

image-20241124160556831

  • 三、分布式文件系统与对象存储:
  • 在要求上的对比:

image-20241124161505239

  • 数据访问:对象存储在接口上更加简单,协议更加高效

image-20241124161700127

image-20241124161926618

  • 四、对象存储的优势与不足:
  • immutable:比如抖音发一个视频,不能对这个视频进行编辑,只有撤回删掉之类的

image-20241124162349497

补充:存储技术的发展和演进

  • 存储与数据库:

一、了解数据与存储系统1)数据持久化:2)存储系统:3)RAID技术:二、不同的存储技术1)单机存储:2)分布式存储:3)单机数据库 - 关系型数据库:4)单机数据库 - 非关系型数据库:5)分布式数据库:


一、了解数据与存储系统

1)数据持久化:

  • 数据在数据库的持久化流程:

2)存储系统:

  • 什么是存储系统:
  • 特点:
  • 数据的存储过程:缓存和拷贝

3)RAID技术:

  • RAID技术关注的问题与各种解决方案:

二、不同的存储技术

1)单机存储:

  • 例一:Linux系统
  • 例二:key-value存储

2)分布式存储:

  • 概念:
  • 例一:HDFS - 管理层和存储层
  • 例二:Ceph - 面向对象与接口、主备复制、数据分布模型的算法

3)单机数据库 - 关系型数据库:

  • 数据结构:以树为主、Page
  • 存储底层:

4)单机数据库 - 非关系型数据库:

  • 不同产品的特点:各不相同

5)分布式数据库:

  • 为什么需要搞分布式:
  • ①硬件影响容量 -> 将介质池化(存储池),数据库网络连接
  • ②容量弹性问题:扩容/缩容时数据搬迁麻烦 -> 池化
  • ③cpu与容量绑定,性价比不高 -> 池化