TOS对象存储

1. 什么是对象存储

• 适用场景：静态、Immutable

2. 为什么对象存储

• 海量：

  • 支持存储容量超过EB级别的数据
  • 没有对象数量的限制

• 易用：

  • 通过Restful HTTP接口提供简单的数据上传和下载方式，可以在任何时间、任何地点、任何互联网设备上进行操作。各种支持HTTP协议的客户端都可以方便地访问对象存储。
  • 与云原生技术相结合，可以根据需求按需申请和使用存储资源。
  • 对于视频和图片等媒体数据，提供了丰富的生态系统支持

• 便宜：

  • 使用普通x86服务器
  • 具备冷热数据分级存储能力，成本更低

3. 对象存储怎么用

• 申请Bucket：

  • 通过厂商提供的云平台，填写申请

• 业务逻辑开发：

  • 使用Restful接口，通过PUT/GET/HEAD/DELETE即可操作bucket
  • 使用MultiUpload接口，可以将大文件分解为小文件上传，在网络不稳定的情况下具有优势
  • 使用Listprefix接口，提供分页功能

• 上线测试

4. TOS字节内部实践挑战及解决方案

• 可扩展性解法

  • Partition：不同数据映射到不同Partition分区，“分而治之”

• 持久度解法

  • Replication：在多个位置保存数据的多个副本，以防止数据丢失

• 成本解法

  • EC：冗余编码，可达到和多副本一样的持久度，但是会带来额外的编码计算步骤
  • 温冷转换：将冷数据转移到性能更差但更廉价的存储介质

• 高可用解法

  • 集群拆分：“降低爆炸半径”
  • 镜像灾备：完全镜像的主备Bucket，出现问题随时切换

5. 总结与感受

总的来说，TOS对象存储是一种强大且灵活的存储解决方案，适用于处理海量数据和静态不可变数据的场景。它的简单易用、成本效益高以及高可用性等特点使得它成为了许多应用领域的首选。通过学习和实践，我对对象存储有了更深入的理解，并且意识到它在现代数据处理中的重要性和价值。我相信在未来的工作中，我可以更好地利用对象存储来满足不同领域的数据存储需求，从中获得更好的效益和用户体验。