一、分布式存储(Hbase)、对象存储(TOS) 1.什么是TOS存储呢? 对象存储TOS基础概念 〈1〉存储桶(Bucket)
存储桶是用户存储对象(object)的容器,区别于文件系统多层级树形目录结构,存储桶采用扁平化存储方式,桶内所有对象都处于统一逻辑层级。
〈2〉存储对象(Object)
存储对象(object)作为基本存储单元,可理解为视频、图片、文档等非结构化文件数据。
〈3〉存储地域(Region)
存储地域(region)是火山引擎对象存储服务的部署物理数据中心位置。
〈4〉访问域名(Endpoint)
访问域名(Endpoint)是TOS对外服务的访问域名,用户通过访问域名实现对象存储的访问下载。 2.为什么要担心存储?
1.抖音作为现象级的短视频软件,每一分每一秒都在产生大量数据,对数据存储容量大小是以PB乃至EB为计的 2.传统的分布式文件系统对视频,图片等资源支持较差 3.传统分布式文件系统开发,维护较繁杂
对象存储,大文件 KV 存储,所以对象存储和分布式文件系统之间,没有那么明确的界限。
元数据用于管理数据节点的信息、文件信息、映射关系。
特点:变动不频繁、数据量小,可以用zookeeper、etcd来存储。 二、对象拆分和保存 拆分/分片:把文件从头到尾,按固定大小切分。好处:提升读写性能、便于维护。 容器:存储固定个数的块,大小是固定的。类似分片。 主从同步:直接复制数据块 三、REST接口 对于数据服务层,它的REST接口和上一个版本完全相同,也就是对象的PUT和GET方法。 对于接口服务层,除了PUT和GET方法之外,我们还另外提供了一个用于定位的locate接口,用来帮助验证架构。 1.通过HTPP交互
2.对象存储使用范围 四、对象存储使用: 申请Bucket -> 业务逻辑开发 -> 上限测试
1.RestFUl接口:是一种定义Web API接口的设计风格,尤其适用于前后端分离的应用模式中。 这种风格的理念认为后端开发任务就是提供数据的,对外提供的是数据资源的访问接口,所以在定义接口时,客户端访问的URL路径就表示这种要操作的数据资源。事实上,我们可以使用任何一个框架都可以实现符合restful规范的API接口。RESTful作为目前最流行的 API 设计规范,一定有着它独有的魅力:强大、简介、易上手。
2.MutilUpload接口:MultiUpload提供免费空间上传分流服务,只要上传一次,Multiupload就会为你把档案分流到Rapidshare, Megaupload,Hotfile等六个知名的网路空间,节省你的时间及频宽
3.Listprefix接口:是用于查看桶下面有哪些对象,他是一个分页接口,循环调用该接口可以遍历桶下面所有对象