(14章完结)MQ大牛成长课–从0到1手写分布式消息队列中间件

184 阅读5分钟

消息队列(Message Queue,MQ)是一种用于不同应用程序、服务或组件之间进行异步通信的中间件。它通常用于在分布式系统中解耦服务之间的关系,实现异步处理和负载均衡。MQ通常通过消息传递、存储和管理来提高系统的吞吐量和可靠性。

(14章完结)MQ大牛成长课–从0到1手写分布式消息队列中间件

MQ中间件可以按多个标准分类,常见的分类方法包括消息传递模式、消息存储方式、支持的协议等。下面从几个角度对分布式消息队列中间件进行分类介绍:

1. 根据消息传递模式分类

MQ中间件可分为两种主要的消息传递模式:

  • 点对点(P2P,Point-to-Point)模式
    • 在点对点模式下,消息从一个生产者发送到一个消费者,生产者和消费者之间是“一对一”的关系。
    • 每条消息仅会被一个消费者消费,适用于需要消息的顺序处理、任务调度、负载均衡的场景。
    • 典型的实现方式是使用队列(Queue)进行消息存储。
    • 示例: ActiveMQ、RabbitMQ。
  • 发布/订阅(Pub/Sub,Publish/Subscribe)模式
    • 在发布/订阅模式下,消息从一个生产者发布到多个订阅者,消息可以被多个消费者同时消费,形成“一对多”的关系。
    • 适用于广播消息、事件驱动系统等场景,订阅者可以是多个消费者。
    • 典型的实现方式是使用主题(Topic)进行消息存储。
    • 示例: Kafka、RabbitMQ、ActiveMQ。

2. 根据消息存储方式分类

消息存储的方式影响了MQ的持久性、吞吐量和性能。主要分类如下:

  • 持久化消息队列
    • 持久化消息会被保存到磁盘中,即使消息消费者或消息队列服务宕机,消息也不会丢失,可以在恢复后重新消费。
    • 适用于对消息可靠性要求较高的场景,如金融交易系统、订单处理系统等。
    • 示例: Kafka、ActiveMQ、RabbitMQ(支持持久化配置)。
  • 非持久化消息队列
    • 消息不会被持久化存储,通常存储在内存中,消息在队列处理完成后会被丢弃,系统宕机后可能导致消息丢失。
    • 适用于对消息可靠性要求较低的场景,如临时通知、异步任务等。
    • 示例: Redis(支持内存存储)。

3. 根据消息队列的实现架构分类

MQ可以根据底层架构的实现方式来进行分类:

  • 基于推送(Push)模型的消息队列
    • 消息队列会主动将消息推送给消费者,消费者从消息队列接收消息时无需主动拉取。
    • 消息队列系统会主动管理消费者的负载均衡和调度。
    • 示例: RabbitMQ、ActiveMQ。
  • 基于拉取(Pull)模型的消息队列
    • 消费者主动从消息队列中拉取消息,消息队列并不会主动推送消息给消费者,消费者可以根据需要来决定是否拉取新消息。
    • 示例: Kafka。
  • 混合模式
    • 一些消息队列可能支持这两种模型的结合,灵活地为消费者提供推送和拉取两种方式。
    • 示例: Kafka、RocketMQ。

4. 根据支持的协议分类

MQ中间件支持的协议决定了它们能够与其他服务或应用进行交互的方式。常见的协议包括:

  • AMQP(Advanced Message Queuing Protocol)
    • 一种开放的消息队列协议,旨在提供高效、可靠的消息传输,广泛用于企业级应用中。
    • 支持点对点和发布/订阅模型,能够实现消息的持久化、事务等功能。
    • 示例: RabbitMQ(支持AMQP协议)。
  • JMS(Java Message Service)
    • JMS是Java平台中的一种消息中间件规范,提供了对消息的异步发送、接收等功能。JMS支持点对点和发布/订阅两种模式。
    • 示例: ActiveMQ、HornetQ(支持JMS协议)。
  • MQTT(Message Queuing Telemetry Transport)
    • MQTT是一个轻量级的消息传递协议,主要用于物联网(IoT)设备之间的消息传递,适合低带宽、高延迟和不稳定网络的场景。
    • 示例: EMQ X、Mosquitto。
  • Kafka协议
    • Kafka使用的是自定义的协议,设计用于大规模数据流的高效传输,适合流数据处理、日志聚合等场景。
    • 示例: Kafka。

5. 根据性能和规模分类

  • 高吞吐量消息队列
    • 这类消息队列主要用于处理大量的消息流,通常会牺牲一定的消息延迟来提高吞吐量。
    • 适用于日志收集、实时数据流处理等场景。
    • 示例: Kafka、Pulsar。
  • 低延迟消息队列
    • 这种队列更注重消息的传输速度和实时性,适用于对延迟要求非常高的应用场景。
    • 示例: RocketMQ。
  • 高可用性与分布式消息队列
    • 高可用性意味着消息队列系统能够在多个节点或数据中心之间进行分布式部署,保证系统的容错性和可靠性。
    • 适用于要求高可用、分布式部署的场景。
    • 示例: Kafka、RocketMQ。

总结:

分布式消息队列中间件在实际应用中具有广泛的应用场景,可以根据消息传递模式、消息存储方式、协议支持等多种方式进行分类。不同的分类具有不同的特点和应用场景,选择合适的消息队列可以帮助系统在高并发、高可靠性、低延迟等方面进行优化。在分布式系统中,消息队列作为重要的基础设施,扮演着解耦、流控、异步处理等关键角色。