这是我参与「第五届青训营」伴学笔记创作活动的第 12 天。

• 系统崩溃
• 服务处理能力有限
• 链路耗时长尾
• 日志如何处理

解决方案：

• 解耦
• 削峰
• 异步
• 日志处理

消息队列

消息队列（MQ），指保存消息的一个容器，本质是个队列。但需要支持高吞吐、高并发、高可用。

• Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
• RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
• Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
• BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群

Kafka

使用场景

• 日志信息
• Metrics数据
• 用户行为

如何使用

1. 创建集群
2. 新增Topic
3. 编写生产者逻辑
4. 编写消费者逻辑

基本概念

• Topic：逻辑队列，不同Topic可以建立不同的Topic
• Cluster：物理集群，每个集群中可以建立多个不同的Topic
• Producer：生产者，负责将业务消息发送到Topic中
• Consumer：消费者，负责消费Topic中的消息
• ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉

• Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增
• Replica：每个分片有多个Replica，Leader Replica将会从ISR中选出。

数据复制

Kafka架构

• ZooKeeper：负责存储集群元信息，包括分区分配信息等

BMQ

RocketMQ