这是我参与「第五届青训营」伴学笔记创作活动的第13天。本篇为第五届字节跳动青训营-寒假专场-后端基础课程的笔记。

案例引入

• 系统崩溃

• 服务能力有限

• 链路耗时长尾

• 日志存储

消息队列

消息队列（MQ），指保存消息的一个容器，本质是个队列，需要支持高吞吐、高并发、高可用。

• 消息队列发展历程

• 业界消息队列对比
  • Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
  • RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可拓展性，在一些实时场景中运用较广
  • Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量级函数式计算为一体、采用存算分离的架构设计。
  • BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群。

Kafka

使用场景

• 日志信息
• Metrics数据
• 用户行为

如何使用Kafka

• 创建集群
• 新增Topic
• 编写生产者逻辑
• 编写消费者逻辑

基本概念

• Topic：逻辑队列，不同的topic可以建立不同的topic
• Cluster：物理集群，每个集群中可以建立多个不同的topic
• Producer：生产者，负责将业务消息发送到topic中
• Consumer：消费者，负责消费topic中的消息
• ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
• Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增
• Replica：每个分片有多个Replica，Leader Replica将会从ISR中选出