TOS对象存储|青训营

82 阅读1分钟

存储需求

把短视频生成/消费链路做更细粒度分解,发现到处都有视频/图片的公共存储需求

同时根据未来可能的用户量,简单做数学计算,发现存储量非常大

Day

1730TB

432块4TB磁盘

20亿个视频/图片

Month

51900TB

12960块4TB磁盘

622亿个视频/图片

Year

631450TB

157680块4TB磁盘

7568亿个视频/图片

这就需要寻找一个合适的存储方法来满足存储需求

存储对比

存储备选海量支持
单机存储NO
单机数据NO
分布式数据库YES
分布式存储YES
适合数据类型是否入选
单机文件/KVNO
少量(半)结构化数据NO
大量(半)结构化数据NO
大数据计算中间结果/视频/图片等YES

分布式存储选型

QQ图片20230816215051.png

分布存储

易用性:接口对比

弱Posix文件系统语义

目录/文件

Append写

无法直接HTTP访问

接口速览

MKdirs

Append

Create

CreareSymlink

Delete

Open

Get

(5O6P82D96212%`_@DP%@U2.png

适用场景

适用于静态Immutable:视频、图片、文本、安装包、备份、前端js文件等

不适用于结构化Mutable:关系型数据(商品订单等)、KV(缓存记录等)、随机写(在线编辑文件等)、Append写(大数据计算中间结果等)、更新频繁(钱包余额等)