为什么需要对象存储

下面以抖音为例，阐述对象存储的必要性。

• 抖音作为现象级的短视频软件，每一分每一秒都在产生大量数据，对数据存储容量大小是以PB乃至EB为计的
• 传统的分布式文件系统对视频，图片等资源支持较差
• 传统分布式文件系统开发，维护较繁杂
• etc..

在需求下，出现了TOS

HDFS vs 对象存储

• 是否Cloud Native Storage：

  • 云原生存储开箱即用，极大解除了运维运营负担，生态体系依托云构建，丰富健全
  • 对象存储是当前各大云厂商王牌存储产品

• 接入难易程度对比：

  • Data Model差异：

    • HDFS：伪Posix File System Interface， Directory/File的数据组织形式
    • 对象存储：扁平的逻辑命名空间， Bucket/Key的数据组织形式
    • Bucket/Key数据组织形式优势：容易理解，使用心智负担小，贴合业务需求

  • 使用接口差异：

    • HDFS：Mkdirs/Create/Append/Delete/Get等文件接口
    • 对象存储： GET/PUT/HEAD/DELETE等Restful HTTP接口
    • HTTP接口的优势：开发简单，分享方便，可无缝接入CDN

• 其他对比：

  • 可扩展性：对象存储可扩展性更强，支持无限容量
  • 成本：对象存储成本更低

对象存储的用法

基本接口

• Restful风格简介：简单介绍Restful风格的形式和优点

• GET：获取对象内容

• PUT：下载对象内容

• DELETE：删除对象内容

• HEAD：获取对象元信息

• MultiPartUpload接口：针对大对象弱网环境上传的优化

这里会对基本的接口做一个简短的演示，让大家直观的了解对象存储的基本用法

Listprefix接口

• 接口功能：将扁平的逻辑命名空间，转化为人类易于理解的结构化逻辑命名空间

• CommonPrefix概念：将扁平的逻辑空间，通过分隔符，分割成类似目录的层次化命名空间

• 分页实现：通过页首和每页对象数量参数，实现分页

这里也会演示ListPrefix接口的基本用法

对象存储面临的工程挑战和解法

工程挑战

业务场景：

• 海量容量场景： 业务持续产生大量数据，数据规模>>PB级别，存储容量和成本压力极大

• 海量QPS场景： 业务场景有高QPS读写请求，量级>>100K/s，并且时延要求极高，对底层存储IOPS压力极大

• 高可用性场景：业务对于SLA要求非常高，要求避免全局性不可用事件发生，但对于一致性要求比较低

工程挑战：

• 可扩展性：架构在存储容量/带宽吞吐/QPS等关键指标上，线性可扩展，能够承担业务在这些指标上的持续增长需求

• 持久度：数据存储成功后，需要能够抵抗单机/单机架/单机房等各种类型的故障而不丢失

• 可用性：系统不可用的时间在整体运行时间的占比需要尽可能小，系统不可用后需要具备快速恢复能力

• 性价比：在海量存储容量的情况下，需要尽力降低单位存储成本，以降低业务的成本支出

Partition 分治提升可扩展性

思路：

• 将数据通过一定的Partition方法，散步到分布式系统中的不同的机器节点来计算/存储

Partition一般做法：

• Hash Partition：通过hash函数来做Partition的选取

• Range Partition： 通过range方式切分逻辑地址空间

带来的好处：

• 可扩展性好

• 爆炸半径低

Replication 多副本提升持久度

思路：

• 将数据拷贝多份来存储

Replication一般做法：

• 多副本：将数据拷贝成多个镜像的副本存储

• EC：使用Erasure Coding方法来构建冗余副本

带来的好处：

• 持久度高

• 吞吐能力也有提升