Tos对象存储实战 | 青训营笔记

184 阅读1分钟

这是我参与「第三届青训营-后端场」笔记创作活动的的第三篇笔记

01.抖音背后的存储

02.为什么对象存储

  • 海量
  • 易用
  • 便宜 易用性:接口对比 HDFS:弱Posix文件系统语义 对象存储:Bucket/Object语义 HTTP协议,使用URL就可以访问 适用场景:视频,图片,文本,安装包,备份,前端js文件(静态,Immutable)

03对象存储怎么用

Restful接口 Multiupload接口:三个 Listprefix接口

04.Tos字节内部实践

接入层:接入解析并处理接口请求

元信息层

存储引擎层

容量型,QPS型

Partiton

partition logic:Hash/Range 负载均衡 持久度解法:Replication 多机架,多机房,多region 拷贝方式,如何解决一致性问题 成本解法:EC冗余编码(Erasure Coding) EC编码算法有哪些 多机房的EC如何实现 成本解法之温冷转换 高可用:镜像灾备/集群拆分