- 对象存储:
一、引入:抖音背后的存储1)概要架构:片源 -> 审核 -> 推荐2)具体流程链路:海量数据需要存储3)分析:存储的难点和要求二、为什么对象存储1)存储方式的对比:适合对象存储
一、引入:抖音背后的存储
1)概要架构:片源 -> 审核 -> 推荐
2)具体流程链路:海量数据需要存储
3)分析:存储的难点和要求
- 存储量极大:
- 存储的要求:
二、为什么对象存储
1)存储方式的对比:适合对象存储
- 一、四种存储技术:
- 二、其中分布式存储适合现在的场景:
- ①理解分布式数据库:即利用数据库存储数据在多个节点,做成集群以提高容量、性能等
- ②理解分布式存储:即不一定是将数据存进数据库,可能只是将数据存储在不同节点上的技术
- ③理解对象存储:即不同的数据(比如视频、图片),将它们和相关的数据(比如属于哪个用户),打包成一个对象,利用分布式存储的功能将这些对象存储在不同节点的不同的Bucket(桶)中
- 三、分布式文件系统与对象存储:
- 在要求上的对比:
- 数据访问:对象存储在接口上更加简单,协议更加高效
- 四、对象存储的优势与不足:
- immutable:比如抖音发一个视频,不能对这个视频进行编辑,只有撤回删掉之类的
补充:存储技术的发展和演进
- 存储与数据库:
一、了解数据与存储系统1)数据持久化:2)存储系统:3)RAID技术:二、不同的存储技术1)单机存储:2)分布式存储:3)单机数据库 - 关系型数据库:4)单机数据库 - 非关系型数据库:5)分布式数据库:
一、了解数据与存储系统
1)数据持久化:
- 数据在数据库的持久化流程:
2)存储系统:
- 什么是存储系统:
- 特点:
- 数据的存储过程:缓存和拷贝
3)RAID技术:
- RAID技术关注的问题与各种解决方案:
二、不同的存储技术
1)单机存储:
- 例一:Linux系统
- 例二:key-value存储
2)分布式存储:
- 概念:
- 例一:HDFS - 管理层和存储层
- 例二:Ceph - 面向对象与接口、主备复制、数据分布模型的算法
3)单机数据库 - 关系型数据库:
- 数据结构:以树为主、Page
- 存储底层:
4)单机数据库 - 非关系型数据库:
- 不同产品的特点:各不相同
5)分布式数据库:
- 为什么需要搞分布式:
- ①硬件影响容量 -> 将介质池化(存储池),数据库网络连接
- ②容量弹性问题:扩容/缩容时数据搬迁麻烦 -> 池化
- ③cpu与容量绑定,性价比不高 -> 池化