抖音背后的存储
发/刷抖音背后有何流程?背后有何种存储需求?
发/刷抖音背后有以下几个主要的流程：
- 用户上传视频到片源服务，片源服务将视频存储在对象存储系统中，并返回视频ID给用户。
- 视频经过转码服务，将源视频转换为不同码率和分辨率的视频，以适应不同的网络环境和设备类型，并将转码后的视频也存储在对象存储系统中。
- 视频经过抽帧服务，将视频中的关键帧提取出来，用于审核服务和机器学习服务的分析和处理，并将抽帧后的图片也存储在对象存储系统中。
- 审核服务对视频进行内容审核，检查是否有违规或不良内容，如果有，则拒绝发布或下架视频，如果没有，则通过审核。
- 机器学习服务对视频进行标签打印，根据视频的内容、风格、场景等特征，给视频打上一些标签，用于推荐服务的匹配和排序。
- 推荐服务根据用户的历史行为、兴趣偏好、地理位置等信息，从海量的视频库中筛选出最适合用户的视频，并按照一定的算法排序，推送给用户。
- 用户在客户端上刷抖音，看到推荐给他们的视频，并可以进行点赞、评论、分享等互动操作。
从上面的流程可以看出，发/刷抖音背后有两种主要的存储需求：
- 一种是对象存储需求，用于存储海量的视频和图片数据。
- 另一种是数据库存储需求，用于存储用户信息、视频信息、标签信息、互动信息等结构化或半结构化数据。
为什么需要对象存储
分布式存储选型——易用性: 接口对比
对象存储是一种以非结构化格式（称为对象）存储和管理数据的技术。每个对象都包含数据本身、元数据和一个全局唯一的标识符。对象存储使用平面结构来组织数据，而不是分层或分级结构。这使得对象存储可以更容易地扩展到海量的数据规模，并且更方便地访问和检索数据。
对象存储有以下几个主要的优势：
- 可扩展性：对象存储可以提供近乎无限的容量，可以存储PB级甚至EB级的数据量。
- 成本效益：对象存储可以降低数据存储的成本，因为它不需要复杂的文件系统或目录结构，也不需要频繁地备份或迁移数据。
- 数据可用性：对象存储可以提高数据的可用性和持久性，因为它可以在多台设备上、跨多个系统，甚至跨多个数据中心和区域复制和分发数据。
- 数据管理：对象存储可以利用元数据来管理数据，元数据是对象的附加信息，可以包含任意类型和数量的标签。
对象存储有以下几个主要的应用场景：
- 分析
- 数据湖
- 云原生应用程序
- 数据备份和恢复
- 富媒体
对象存储怎么用
对象存储怎么用?
要使用对象存储，需要先注册一个云服务提供商的账号，然后开通对象存储服务，并创建一个存储桶（Bucket）。
创建好存储桶后，就可以开始上传和下载对象了。
TOS字节内部实践
TOS在字节面临的场景有哪些? 工程上的解法是?
TOS是字节跳动自研的分布式对象存储系统，它主要用于存储和分发海量的视频、图片等富媒体内容，为抖音、西瓜视频、火山小视频等业务提供高效、稳定、安全的存储服务。
TOS在字节面临的场景有以下几个特点：
- 海量。
- 多样
- 实时
- 高可用
- 低成本
TOS在工程上采用了以下几个解法：
- 分布式集群
- 对象存储
- 多副本策略
- 温冷转换机制
- HTTP接口
小结
以上就是我通过观看视频并上网查阅资料后，对TOS，对象存储等的浅浅了解，受益匪浅。
