《探秘抖音互联网架构，构建高可用系统》 | 豆包MarsCode AI刷题

1. 核心模块介绍

抖音的互联网架构是一个典型的大型分布式系统，主要由用户端、上传与处理、存储与分发、推荐系统、用户关系管理以及数据统计与分析等核心模块组成。

用户端：抖音的用户端包括 iOS 和 Android 平台，用户通过客户端进行视频拍摄、编辑、上传和观看等操作。客户端需要与后台服务器进行交互，向服务器发送用户行为数据并接收服务器返回的响应。

上传与处理模块：当用户将视频上传到抖音服务器时，上传服务会接收并存储视频文件，并进行基本的格式验证和预处理操作。例如，进行视频编码转换、分辨率调整等。此外，还会进行视频内容的审核，以确保上传内容符合平台规定。这个模块需要具备高可靠性和高效性能，以应对用户同时上传大量视频的情况。

存储与分发模块：抖音使用分布式存储系统来存储海量的视频数据。这些数据会被分散存储在多个服务器上，以提高数据的可靠性和可扩展性。同时，为了加速视频的加载和播放速度，抖音采用了内容分发网络（CDN）技术，将视频快速分发到全球各地的用户。CDN 技术能够根据用户的位置，选择离用户最近的服务器节点进行数据传输，从而减少加载延迟和提升用户体验。

推荐系统模块：抖音的推荐系统是其核心竞争力之一。通过大数据和机器学习算法，抖音能够根据用户的兴趣和行为，实时推荐适合用户口味的短视频内容。推荐系统不断收集、分析和处理用户行为数据，并利用这些数据训练模型和优化算法。推荐系统的目标是提供个性化、多样化的内容推荐，以增强用户黏性和提升用户满意度。

用户关系管理模块：抖音通过用户关系管理模块维护用户之间的社交关系，包括好友关注、点赞、评论等互动行为。用户关系管理模块需要高效地处理用户之间的关系变动，并及时更新相关数据。当用户进行关注、取消关注、点赞等操作时，这些信息会被及时记录和处理，以保持用户关系的准确性和实时性。

数据统计与分析模块：为了监控和分析平台的运行状况，抖音需要收集和处理大量的运营数据。这些数据涵盖了用户行为、视频播放情况、系统性能等方面。通过对这些数据进行统计和分析，平台可以了解用户需求、业务趋势以及系统健康状况。同时，数据统计与分析也支持平台的广告投放、精细化运营和决策制定。

二、抖音的技术实现

1. 关键技术解析

1. 分布式存储：抖音采用分布式存储系统，将视频数据切分为多个块存储在不同服务器上。这种方式极大地提高了数据的可靠性和可扩展性，使得即使在面对海量视频数据时，也能实现高效的访问和读写操作。例如，当用户上传视频后，系统会迅速将视频数据分散存储，确保数据不会因为单个服务器故障而丢失。同时，在用户观看视频时，系统可以从多个存储节点快速读取数据，提供流畅的观看体验。

2. CDN 技术：抖音利用内容分发网络（CDN）技术，将视频缓存到全球边缘节点。通过智能路由，能够快速传递视频内容，减少加载时间和卡顿现象，显著提升观看体验。CDN 会根据用户的位置选择离用户最近的服务器节点进行数据传输，比如当一个位于欧洲的用户观看抖音视频时，系统会自动从欧洲的 CDN 节点提供视频数据，大大降低了传输延迟。

3. 大数据和机器学习：抖音通过收集分析用户行为数据，挖掘用户兴趣和偏好。利用大数据技术，抖音可以处理海量的用户行为信息，包括观看历史、点赞、评论、分享等。机器学习算法则对这些数据进行深入分析，实时推荐符合用户兴趣的短视频内容。例如，当用户经常观看美食类视频时，系统会逐渐增加美食类视频在用户推荐列表中的比例。

4. 弹性计算：抖音根据负载情况实时调整服务器数量，保证系统高可用性和稳定性，同时降低成本。在用户访问高峰时期，如晚上或节假日，系统会自动增加服务器数量以应对高负载；而在低峰期，则减少服务器数量，实现资源的高效利用。

5. 视频编码与处理：抖音采用先进编码技术压缩优化视频，调整分辨率、帧率等，以适应不同设备和网络环境。例如，对于网络条件较差的用户，系统会自动降低视频的分辨率和帧率，确保视频能够流畅播放；而对于高端设备和高速网络的用户，则提供更高质量的视频。

6. 实时视频流处理：抖音实现了实时播放和互动功能，让用户能够在观看视频的同时进行点赞、评论、分享等操作，增强了用户的参与感和互动性。例如，在直播场景中，实时视频流处理技术确保了视频的低延迟传输，使得主播和观众之间能够实时互动。

三、仿抖音系统功能及实现

1. 仿抖音短视频 APP 功能介绍

1. 附近推荐功能：用户可查看周边视频推荐，了解周边趣事。仿抖音短视频 APP 通过内置的定位功能，为用户提供附近推荐服务。当用户打开该功能时，系统会根据用户的地理位置信息，筛选出周边一定范围内的视频内容并推荐给用户。这样，用户可以轻松了解周边发生的各种有趣事情，增加与周边环境的互动和了解。

2. 短视频音乐：根据视频内容添加相应音乐，使枯燥内容变得搞笑有趣，推广陌生音乐。在仿抖音短视频 APP 中，用户可以为自己的视频选择合适的音乐。系统提供了丰富的音乐库，涵盖各种风格和类型的音乐。用户可以根据视频的主题、氛围等因素，挑选出最能搭配视频内容的音乐。通过添加音乐，原本可能比较枯燥的视频内容可以变得更加生动、搞笑和有趣。同时，这也为一些陌生的音乐提供了推广的机会，让更多用户发现和喜爱这些音乐。

3. 动态贴纸功能：内置人脸识别，大量素材网满足不同场景效果需求，搞笑卖萌贴纸渲染带来新鲜观赏效果。这款仿抖音短视频 APP 具备强大的动态贴纸功能。它内置了先进的人脸识别技术，能够准确地识别用户的面部特征，并将各种贴纸贴合在用户的脸上。系统还连接了大量的素材网站，为用户提供了丰富多样的贴纸选择，可以满足不同场景下的效果需求。无论是搞笑的、卖萌的还是其他风格的贴纸，都能为视频增添独特的魅力，给观众带来新鲜的观赏效果。

4. 主页推荐视频功能：打开抖音后展示热门视频，根据用户信息和观看爱好推荐。当用户打开仿抖音短视频 APP 时，首先映入眼帘的是主页推荐视频。这些视频包括热门视频以及根据用户的个人信息和观看爱好进行个性化推荐的视频。系统通过分析用户的观看历史、点赞记录、评论行为等数据，深入了解用户的兴趣偏好，从而为用户推荐更符合他们口味的视频内容。这样可以提高用户发现感兴趣视频的概率，增强用户的使用体验和粘性。

5. 直播功能：用户点击 “我要直播” 获取推流地址，在第三方软件进行直播操作，直播页面可浏览直播列表和截图，点击进入直播页面观看，还可查看用户个人主页。在这款 APP 中，直播功能为用户提供了丰富的互动体验。用户只需点击 “我要直播” 按钮，即可获取推流地址。然后，用户可以使用第三方软件，如 OBS，进行直播操作。在直播页面，用户可以浏览当前正在直播的用户列表，并查看他们十秒内的直播截图。通过点击直播截图，用户可以快速进入对应的直播页面观看直播内容。此外，用户还可以点击直播用户的头像，查看其个人主页，了解更多关于该用户的信息。

6. 视频发布功能：用户点击 “投稿” 上传视频，输入描述和选择分类，上传后系统将视频资源上传到云端存储并进行风险审核。用户在仿抖音短视频 APP 中可以轻松发布自己的视频作品。用户点击 “投稿” 按钮后，进入视频发布页面。在这里，用户可以输入视频的描述信息，以便更好地传达视频的主题和内容。同时，用户还可以选择适合的分类，使视频能够被准确地归类和展示。上传完成后，系统会将视频资源上传到云端存储，确保视频的安全性和可访问性。此外，系统还会对上传的视频进行风险审核，以确保视频内容符合相关规定和准则。

7. 推荐视频与热门视频功能：提供推荐算法，根据用户喜好实时推荐视频，未登录用户视频浏览数量受限且部分功能不可用。这款 APP 实现了强大的推荐视频与热门视频功能。系统提供了推荐算法，能够根据用户在刷视频过程中的喜好，实时从推荐系统中获取用户可能感兴趣的视频进行推荐。同时，系统还会将用户的反馈实时传递给推荐系统，进一步优化推荐结果。对于已登录用户，他们可以无限滑动浏览视频，并且随着视频的切换，视频评论、相关推荐的内容也会同步切换。而对于未登录用户，系统限制了视频的浏览数量为十条。此外，未登录用户无法进行点赞、收藏、评论等操作，从而鼓励用户进行登录，以获得更多功能和个性化的推荐体验。

8. 视频分类功能：用户可选择感兴趣的分类，浏览特定分类下的视频内容。仿抖音短视频 APP 为用户提供了丰富的视频分类功能。用户可以在系统提供的分类导航中，根据自己的兴趣选择特定的视频分类，如娱乐、体育、知识、二次元等。一旦用户选择了特定的分类，系统将会展现该分类下的多条视频内容，使得用户更好地定位和浏览自己喜欢的视频类型，提高用户的浏览效率和满意度。

9. 视频搜索：用户提交关键词搜索视频，点击封面观看，点击头像查看发布者信息，系统保存最近五条搜索关键词，用户可清除搜索记录。在这款 APP 中，视频搜索功能为用户提供了便捷的视频查找方式。用户可以通过提交关键词在平台内搜索视频。搜索结果将显示相关视频，用户可以通过点击视频封面来观看对应的视频内容。同时，用户还可以点击视频发布者的头像来查看其个人信息，了解更多关于发布者的情况。为了方便用户下次搜索，系统会保存用户最近五条的搜索关键词到历史记录中。用户下次想要搜索时，可以直接点击历史记录中的搜索关键词，省去重新输入的步骤。同时，用户也可以清除自己的搜索记录，以便保护隐私或重新开始搜索。

2. 仿抖音项目架构设计

1. 前端使用 Vue3 和 Ts 语言开发，提供众多基础功能和特色功能，如视频弹幕互动、用户直播、带水印视频下载等。

仿抖音项目的前端采用了先进的 Vue3 和 Ts 语言进行开发。Vue3 是一个流行的前端框架，具有高效、灵活和易于维护的特点。结合 Ts 语言的强类型特性，可以提高代码的可靠性和可维护性。前端开发不仅提供了众多基础功能，如视频播放、点赞、分享、收藏、评论等，还实现了特色功能，如视频弹幕互动、用户直播、带水印视频下载等。这些特色功能丰富了用户的体验，增加了平台的吸引力和竞争力。

2. 后端部分使用 Go 语言微服务框架 go-zero，以 Gorm 作为 ORM 框架，Consul 作为服务注册和发现，Redis 作为缓存，MySQL 进行持久化，同时使用 Elasticsearch 作为搜索引擎，Kafka 作为消息队列，引入 Jaeger 实现链路追踪，使用 Prometheus 和 Grafana 进行服务监控和可视化展示。

在后端开发方面，仿抖音项目选择了 Go 语言微服务框架 go-zero。go-zero 具有高性能、高并发和易于扩展的特点，非常适合构建大型分布式系统。Gorm 作为 ORM 框架，方便了数据库的操作和管理。Consul 被用作服务注册和发现，确保各个微服务之间能够高效地通信和协作。Redis 作为缓存，提高了数据的访问速度和系统的响应性能。MySQL 则用于数据的持久化存储，保证数据的安全性和可靠性。同时，Elasticsearch 作为搜索引擎，提供了快速而准确的搜索功能。Kafka 作为消息队列，实现了服务之间的解耦和流量削峰。引入 Jaeger 实现链路追踪，可以对请求进行细粒度的跟踪和分析，便于排查问题和优化系统性能。使用 Prometheus 和 Grafana 进行服务监控和可视化展示，能够实时了解系统的运行状态和性能指标，为系统的稳定运行提供保障。

3. 借助七牛云实现音视频处理、视频审核和直播服务。

仿抖音项目借助七牛云强大的音视频处理能力，实现了高效的音视频处理服务。七牛云可以对上传的视频进行编码转换、分辨率调整等操作，确保视频在不同设备上都能流畅播放。同时，七牛云还提供了视频审核服务，对上传的视频内容进行严格的审核，确保视频内容符合相关规定和准则。此外，七牛云的直播服务也为项目的直播功能提供了有力支持，确保直播的稳定和流畅。

四、构建高可用系统的思考

1. 策略探讨

1. 分布式架构：将系统拆分为多个独立服务，提高可扩展性和容错性。

• • 在构建高可用系统时，分布式架构是一种关键策略。通过将系统拆分为多个独立的服务，可以避免单点故障，提高系统的容错性。例如，抖音的互联网架构就是一个典型的分布式系统，由多个核心模块组成，如用户端、上传与处理、存储与分发、推荐系统等。这些模块相互独立，又通过网络进行通信和协作，当某个模块出现故障时，不会影响整个系统的运行。

• • 分布式架构还可以提高系统的可扩展性。随着业务的增长，系统的负载可能会不断增加，通过增加服务的数量，可以轻松地应对这种增长。例如，当抖音的用户数量增加时，可以通过增加服务器的数量来提高系统的处理能力，而不需要对整个系统进行大规模的改造。

2. 负载均衡：使用负载均衡器分发流量，避免单一服务器过载，保持系统稳定性和高可用性。

• • 负载均衡是实现高可用系统的重要手段之一。通过使用负载均衡器，可以将用户的请求分发到多个服务器上，避免单一服务器过载。例如，在抖音的架构中，可能会使用硬件负载均衡器和软件负载均衡器相结合的方式，实现对流量的高效分发。

• • 硬件负载均衡器通常安装在外部网络与内网服务器之间，负责多链路负载均衡、防火墙负载均衡和服务器负载均衡等任务。软件负载均衡器则工作在代理层，主要负责反向代理、缓存、数据验证等任务。不同类型的负载均衡器可以根据系统的需求进行组合使用，以提高系统的性能和可用性。

• • 负载均衡算法也是影响系统性能的重要因素。常见的负载均衡算法有轮询、加权轮询、最少连接数、源地址哈希、URL 哈希等。不同的算法适用于不同的场景，需要根据系统的特点和需求进行选择。例如，对于服务器性能不均衡的情况，可以使用加权轮询算法；对于需要保证同一用户的会话由一个服务器处理的情况，可以使用源地址哈希算法。

3. 数据备份与恢复：定期备份关键数据，确保可快速恢复，防止数据丢失和故障时快速恢复。

• • 数据备份与恢复是高可用系统的重要保障。在现代大规模分布式系统中，数据的可靠性和持久性至关重要。通过定期备份关键数据，可以在数据丢失或损坏时快速恢复系统的运行状态。

• • 常见的数据备份策略有完全备份、增量备份和差异备份。完全备份将整个数据集复制到备份节点中，提供了最高的数据可靠性和恢复速度，但需要较高的存储空间和网络带宽。增量备份只备份发生变化的数据块，节省存储空间和带宽，但恢复过程相对复杂。差异备份备份上一次完全备份后发生变化的数据块，介于完全备份和增量备份之间。

• • 数据恢复策略包括冗余备份、故障检测与自动恢复等。冗余备份将数据复制到多个节点上，当一个节点发生故障时，可以从其他节点恢复数据。故障检测与自动恢复通过监测节点状态和数据完整性，及时检测到故障，并自动启动数据恢复过程。

4. 缓存策略：采用合适缓存策略，减少对后端服务访问压力，提高系统响应速度。

• • 缓存是提高系统性能和响应速度的有效手段。通过将频繁访问的数据暂存于高速存储介质中，可以减少对后端数据源的访问次数，降低延迟。例如，在抖音的架构中，可能会使用缓存来存储热门视频、用户信息等数据，以提高系统的响应速度。

• • 常见的缓存策略有 Cache-aside（旁路缓存 / 惰性加载）、Cache-through（缓存透传）、Refresh-ahead（提前刷新）、Write-through（同步写入）、Write-behind（异步写入）、Write-around（绕过缓存写入）等。不同的策略适用于不同的场景，需要根据系统的需求进行选择。

• • 缓存也会带来一些问题，如缓存雪崩、缓存击穿和缓存穿透等。为了解决这些问题，可以采取一些策略，如缓存过期时间加随机、二级缓存、请求限流与降级、预热缓存等。

5. 监控与警报：建立监控系统，实时监测运行状态，异常情况及时警报并采取措施。

• • 监控与警报是高可用系统的重要组成部分。通过建立监控系统，可以实时监测系统的运行状态，及时发现异常情况，并采取相应的措施。例如，在抖音的架构中，可能会使用 Prometheus 和 Grafana 等工具进行服务监控和可视化展示，实时了解系统的运行状态和性能指标。

• • 监控系统可以监测服务器的各项指标，如 CPU 使用率、内存使用率、网络流量等，还可以监测程序中的异常情况，如数据库连接失败、服务不可用等。当发现异常情况时，监控系统可以及时发出警报，通知相关人员进行处理。

• • 为了提高监控系统的可靠性，可以采用分布式监控的方式，将监控任务分配到多个节点上，避免单点故障。同时，还可以设置多个监控阈值，当系统的指标超过某个阈值时，发出不同级别的警报，以便及时采取相应的措施。

6. 容灾与弹性设计：在不同地理位置部署多个数据中心，实现容灾和弹性扩展，应对自然灾害或意外事件。

• • 容灾与弹性设计是高可用系统的重要保障。通过在不同地理位置部署多个数据中心，可以实现容灾和弹性扩展，应对自然灾害或意外事件。例如，当某个数据中心发生故障时，可以将用户的请求切换到其他数据中心，保证系统的正常运行。

• • 容灾设计需要考虑数据的同步和备份、服务的切换和恢复等问题。可以采用数据复制、异步写入等技术，实现数据的实时同步和备份。当某个数据中心发生故障时，可以通过服务发现和负载均衡等技术，将用户的请求切换到其他数据中心，保证服务的连续性。

• • 弹性设计需要考虑系统的可扩展性和资源的动态分配。可以采用弹性计算、容器化等技术，实现系统的自动扩展和收缩，根据系统的负载情况动态分配资源，提高系统的资源利用率和性能。