消息队列的前世
- 消息队列是一种常见的解决分布式系统通信和数据传输问题的技术工具。
- 消息队列的应用场景包括解耦、削峰、异步和日志处理。
- 消息队列的发展历史：早期的消息队列采用中间件或消息中间件来实现，如IBM的MQSeries、ActiveMQ等。随着互联网规模的扩大和大数据时代的到来，出现了众多分布式消息队列系统，如Kafka、RabbitMQ、RocketMQ等。
Kafka
- Kafka是一个高吞吐量、可持久化、分布式发布订阅消息系统。
- Kafka的使用场景包括业务日志、用户行为数据和Metrics数据等。
- 基本概念：
- Producer（生产者）：负责产生消息并发送到Kafka集群。
- Cluster（集群）：由多个Broker组成的Kafka服务器集群。
- Consumer（消费者）：从Kafka集群中读取消息并进行处理的应用程序。
- Topic（主题）：消息的类别或者主题。
- Partition（分区）：每个Topic可以分为多个Partition，每个Partition在物理上对应一个文件夹。
- 数据迁移：当Kafka集群扩展或者缩小时，需要进行数据的迁移操作。
- Offset（偏移量）：消费者可以通过指定偏移量来读取Kafka中的消息。
- Partition选主：每个Partition都有一个Leader和多个Follower，Leader负责处理读写请求。
BMQ
- BMQ是百度开源的一套高性能、高可靠的分布式消息队列系统，基于Kafka二次开发而来。
- BMQ的架构包括Broker、Proxy、HDFS和MetaStorage等模块。
- Broker负责存储和传输消息，Proxy负责消息的接收和转发，HDFS用于消息的持久化，MetaStorage用于存储元数据。
- BMQ支持多机房容灾，可以在不同的机房之间进行消息的复制和同步。
RocketMQ
- RocketMQ是阿里巴巴开源的分布式消息队列系统，与Kafka相比具有不同的特点和优势。
- RocketMQ的使用场景包括异步消息、流量削峰、日志收集等。
- RocketMQ的架构包括Producer、Broker、Nameserver和Consumer等组件。
- RocketMQ支持顺序消息和广播消息两种模式。
- 一条消息从生产到消费的处理过程：
- Producer端逻辑：将消息发送到Broker。
- Broker端逻辑：存储消息并进行复制和同步。
- Consumer端逻辑：从Broker中拉取消息并进行处理。
课后问题：
-
消息队列的应用场景有哪些？
消息队列的应用场景包括解耦、削峰、异步和日志处理。通过使用消息队列，可以将系统内部的各个模块解耦，提高系统的可维护性和可扩展性。削峰是指在系统压力剧增时，通过将请求暂存到消息队列中，平滑分摊系统负载，防止系统崩溃。异步是指将一些耗时的操作放入消息队列中，让系统能够快速响应请求，而后台异步地处理这些操作。日志处理是指将系统产生的日志通过消息队列进行收集和处理，方便后续的日志分析和监控。
-
Kafka的哪些特性使其可以支撑高吞吐量的写入场景？
Kafka支持分布式部署，将消息分散到多个Broker节点上存储，从而实现了水平扩展和负载均衡。同时，Kafka采用了顺序写磁盘的方式来存储消息，避免了随机写磁盘的开销，提高了写入性能。此外，Kafka还支持消息的批量发送和压缩，减少了网络传输的开销，提高了吞吐量。
-
Kafka Consumer Rebalance的流程简述是什么？
Kafka Consumer Rebalance是指在消费者组内新增或者移除消费者时，Kafka会重新分配分区给消费者，以实现负载均衡。其流程如下：
- 当消费者加入或离开消费者组时，消费者组的Coordinator会触发Rebalance操作。
- Coordinator会将消费者组的消费者列表和分区分配方案发送给所有的消费者。
- 每个消费者根据分区分配方案，决定自己负责消费哪些分区。
- 消费者开始消费分配给自己的分区。
-
BMQ相比Kafka有哪些优势？
- BMQ支持多机房容灾：BMQ可以在不同的机房之间进行消息的复制和同步，提高了系统的可用性和容灾能力。
- BMQ具有更好的消息可靠性：BMQ在消息写入时进行了多副本复制，保证了消息的可靠性，避免数据丢失。
- BMQ支持消息的事务处理：BMQ提供了事务消息的支持，可以保证消息在发送和消费过程中的一致性。
-
RocketMQ有哪些特有的特性？
- 顺序消息：RocketMQ支持顺序消息，保证相同Key的消息按照发送顺序被消费。
- 广播消息：RocketMQ支持广播消息，可以将消息发送给所有的消费者进行消费。
- 延迟消息：RocketMQ支持延迟消息的发送，可以设置消息的延迟时间，让消息在一定时间后才能被消费。
- 事务消息：RocketMQ支持事务消息，保证消息在发送和消费过程中的一致性。
