存储需求
把短视频生成/消费链路做更细粒度分解,发现到处都有视频/图片的公共存储需求
同时根据未来可能的用户量,简单做数学计算,发现存储量非常大
Day1730TB
432块4TB磁盘
20亿个视频/图片
Month
51900TB
12960块4TB磁盘
622亿个视频/图片
Year
631450TB
157680块4TB磁盘
7568亿个视频/图片
这就需要寻找一个合适的存储方法来满足存储需求
存储对比
| 存储备选 | 海量支持 |
|---|---|
| 单机存储 | NO |
| 单机数据 | NO |
| 分布式数据库 | YES |
| 分布式存储 | YES |
| 适合数据类型 | 是否入选 |
|---|---|
| 单机文件/KV | NO |
| 少量(半)结构化数据 | NO |
| 大量(半)结构化数据 | NO |
| 大数据计算中间结果/视频/图片等 | YES |
分布式存储选型
分布存储
易用性:接口对比
弱Posix文件系统语义
目录/文件
Append写
无法直接HTTP访问
接口速览
MKdirs
Append
Create
CreareSymlink
Delete
Open
Get
适用场景
适用于静态、Immutable:视频、图片、文本、安装包、备份、前端js文件等
不适用于结构化、Mutable:关系型数据(商品订单等)、KV(缓存记录等)、随机写(在线编辑文件等)、Append写(大数据计算中间结果等)、更新频繁(钱包余额等)