消息队列原理与实战丨青训营笔记

Showy
120 阅读8分钟

消息队列原理与实战丨青训营笔记

这是我参与「第五届青训营」笔记创作活动的第 16 天。

一、本堂课重点内容

本堂课从消息队列的前世今生引入消息队列的概念，并介绍了消息队列的发展历程，并结合消息队列的几种常见的实现方式，如Kalfka、BMQ、RocketMQ等消息队列深入阐述了其使用场景、架构及高级特性。

二、详细知识点介绍

1. 概述

什么是消息队列？
消息队列（MQ），是一种在分布式系统中传递消息的解决方案，指保存消息的一个容器，本质是个队列。它将消息存储在一个队列中，以便多个应用程序可以使用它，需要支持高吞吐、高并发、并且高可用。

image.png

消息队列的原理：

  1. 发送方将消息放入消息队列中，这个过程称为“发布”（publish）。
  2. 接收方从消息队列中获取消息，这个过程称为“订阅”（subscribe）。
  3. 发送方和接收方之间通过消息队列传递消息，这个过程称为“传递”（deliver）。
  4. 接收方处理完消息后，将消息从队列中删除。

消息队列的优点：

  1. 异步处理：消息队列可以实现异步处理，即发送方不需要等待接收方处理完消息后才能继续执行，从而提高系统的响应速度。
  2. 解耦：消息队列可以将发送方和接收方解耦，从而使得系统更加灵活，发送方和接收方可以独立地进行扩展和升级。
  3. 削峰填谷：消息队列可以平滑地处理高峰期的数据流量，从而避免系统崩溃或运行缓慢的情况。
  4. 可靠性：消息队列可以提高系统的可靠性，即使接收方暂时不可用，消息也会在队列中等待，直到接收方重新可用为止。
  5. 消息持久化：消息队列可以将消息持久化到磁盘中，从而保证消息不会因为系统故障或异常情况而丢失。

消息队列的发展历程：

image.png

消息队列的实现方式： 比如基于内存的消息队列、基于文件的消息队列、基于数据库的消息队列等。常见的消息队列产品有 RabbitMQ、Kafka、ActiveMQ 等。

image.png

2. 消息队列-Kafka

Kafka 是一个开源的分布式消息系统，最初由 LinkedIn 公司开发，现在归属于 Apache 软件基金会。

Kafka 的主要特点包括：

  • 高吞吐量：Kafka 能够处理数以百万计的消息，以及每秒钟数百千字节的读写数据。
  • 可靠性：Kafka 将消息写入多个副本中，以确保即使一个 broker 宕机，消息仍然可用。
  • 可扩展性：Kafka 集群可以轻松地进行水平扩展，以支持更多的消息和更高的吞吐量。
  • 消息存储：Kafka 采用了分区的方式存储消息，每个分区都有一个偏移量，可以保证消息的顺序性和可重复读性。

Kafka 主要由以下几个部分组成：

  • Producer：负责向 Kafka 集群中的某个 topic 发送消息。
  • Broker：Kafka 集群中的一个节点，负责存储和处理消息。
  • Consumer：从 Kafka 集群中的某个 topic 中消费消息。
  • Topic：消息的逻辑分类，每个 topic 可以有多个分区。
  • Partition：每个 topic 可以分成多个分区，每个分区都有一个唯一的编号和一个 offset。

Kafka 的工作流程如下：

  1. Producer 向 Kafka 集群中的某个 topic 发送消息，可以指定消息的 key 和 value。
  2. Kafka 将消息写入一个分区中，并为每个消息分配一个 offset，表示该消息在分区中的位置。
  3. Consumer 可以按照指定的 offset 从某个分区中消费消息，如果消费者断开连接，则可以继续从上次的 offset 处恢复消费。
  4. Kafka 可以为每个分区维护多个副本，以确保消息的可靠性。
  5. 如果某个 broker 宕机，则 Kafka 会自动将该 broker 中的分区迁移到其他 broker 上，以确保消息的可用性。

3. 消息队列-BMQ

BMQ是一个基于Java开发的轻量级消息中间件，其主要特点包括：

  1. 高吞吐量：BMQ的设计目标是提供高吞吐量的消息传输服务，可以支持每秒数十万到数百万条消息的传输。
  2. 可靠性：BMQ支持消息持久化存储，可以确保消息的可靠传输，即使出现了网络故障、服务器故障等情况也不会导致消息的丢失。
  3. 可扩展性：BMQ支持集群模式，可以通过增加节点的方式来扩展消息队列的处理能力，同时也支持水平扩展和垂直扩展。
  4. 多协议支持：BMQ支持多种协议，包括TCP、HTTP、HTTPS、WS、WSS等，可以方便地与各种应用进行集成。
  5. 简单易用：BMQ的API设计简单易用，支持多种编程语言，如Java、Python、PHP等。
  6. 低延迟：BMQ采用了零拷贝技术，能够在消息传输过程中减少数据复制，从而降低传输延迟。

BMQ主要由三个组件组成：生产者、消费者和消息队列。生产者可以将消息发送到消息队列，消费者可以从消息队列中获取消息进行消费。BMQ支持多种消息模式，包括点对点模式和发布订阅模式。在点对点模式中，每个消息只会被一个消费者消费；在发布订阅模式中，每个消息会被多个消费者消费。

BMQ还支持多种消息协议，包括HTTP、WebSocket等。可以使用BMQ提供的API或者消息协议来发送和接收消息。

4. 消息队列-RocketMQ

RocketMQ是一款开源的分布式消息队列系统，由阿里巴巴集团开发并开源。RocketMQ提供了高可用、高吞吐量、低延迟和可伸缩性的消息发布和订阅服务，支持大规模的数据流处理和分布式事务。它主要包括以下几个组件：

  1. NameServer：提供路由信息，根据发送的Topic和Group信息返回存储消息的Broker列表。
  2. Broker：消息存储和消息处理的核心组件，承担消息存储和发送、消费进度管理、消息重试等功能。
  3. Producer：消息的生产者，负责将消息发送到Broker中。
  4. Consumer：消息的消费者，从Broker中拉取消息进行消费。

RocketMQ的消息模型是基于主题（Topic）的发布-订阅模型。在这个模型中，生产者将消息发布到一个主题中，而消费者则订阅这个主题并接收其中的消息。RocketMQ还提供了消息的顺序保证和事务消息功能，保证消息的可靠性和一致性。

RocketMQ的优点包括：

  1. 高可用性：支持主从复制和消息双写机制，保证消息的可用性和可靠性。
  2. 高吞吐量：支持批量发送和消费，同时还支持多线程并发消费。
  3. 低延迟：支持零拷贝技术，提高消息传输效率。
  4. 可伸缩性：支持集群部署和水平扩展。
  5. 多语言支持：支持Java、C++、Python、Go等多种编程语言。

RocketMQ在互联网领域的应用广泛，如阿里云、京东、美团等大型互联网企业都在使用它来处理大规模的消息数据流。

三、课后个人总结

消息队列是一种高性能、高可靠性的消息传递机制，通常用于分布式系统之间的解耦和异步通信。通过将消息写入到消息队列中，生产者和消费者之间不需要直接交互，可以实现异步消息的传递和处理。

常见的消息队列包括Kafka、RabbitMQ、RocketMQ、BMQ等。这些消息队列都有自己的特点和适用场景。例如，Kafka适合高吞吐量的消息传递，RabbitMQ适合复杂的消息路由和转换，RocketMQ适合大规模分布式系统的使用等。

消息队列的优点包括：

  1. 解耦和异步：生产者和消费者之间的解耦使得系统更加灵活、可扩展和可维护。同时，异步消息的处理可以提高系统的响应性能和吞吐量。
  2. 可靠性和持久化：消息队列通常采用消息的持久化机制，保证消息的不丢失和可靠传递。
  3. 流量削峰和负载均衡：消息队列可以作为一个缓冲区，可以处理系统高峰期的消息流量，以及负载均衡的问题。
  4. 可扩展性：消息队列可以通过添加更多的生产者和消费者实现更大规模的系统。

不过，消息队列也存在一些缺点，例如：

  1. 异步消息处理可能会增加系统的复杂性。
  2. 可能会出现消息丢失或者重复消费的情况。
  3. 系统的一致性问题可能会增加，需要在设计时注意。

总之，消息队列是一种非常重要的分布式系统通信方式。学习消息队列需要深入理解其原理、特点和适用场景，针对具体的系统和业务需求选择合适的消息队列才能发挥出其最大的效用。

四、引用参考

avatar
文章
阅读
粉丝