对象存储笔记 | 青训营

64 阅读1分钟

对象存储笔记 | 青训营

这是我参与「第六届青训营 -后端场」笔记创作活动的的第6篇笔记

定义

对象存储是分布式存储的一种,可以用于大数据计算中间结果/视频/图片等

特点

支持海量存储,对象数量无限制

使用restful http接口 ,开发简单,按需申请使用视频/图片相关生态丰富

使用普通x86服务器,具备冷热数据分级存储,成本低

详解

bucket:存储对象的桶,可以类比map

object:对象包含有 key,data,metaData

key:对象名字

data: 对象内容

metadata: 对象元信息

使用场景

视频,图片 ,文本,安装包,备份,前端js文件,都是静态的

如何使用

流程:申请bucket,业务逻辑的开发,上线测试

问题

如何解决视频过大导致上传到一般失败
解决:multiupload

原理:将数据切片之后再去上传

实践

三层架构

接入层: 接入解析并处理接口请求

元信息层    :存储对象元信息

存储引擎层:存储对象内容

确定业务类型

容量形
业务:用户上传原视频
QPS型:原视频审核用抽帧

架构细化

image.png

tos内部实践

一个集群拆分为多个集群,有效降低爆炸半径

image.png

使用镜像灾备保证高可用性

image.png

总结:在使用一些大量的视频上传和下载的时候可以使用tos对象存储,使用也方便 学习建议:同学们可以使用csdn去搜索一些实战的相关案例,字节的课程大多都是一些理论,时间比较短,没有机会去讲解案例