什么是RocketMQ？

一只爱撸猫的程序猿
188 阅读4分钟

1. 什么是RocketMQ

RocketMQ是一种开源的分布式消息队列系统，主要用于处理大量异步、高并发、高吞吐量的场景。它最初是由阿里巴巴集团开发并贡献给Apache基金会，现在是Apache的一个顶级项目。

RocketMQ具有以下特点：

  1. 高性能：RocketMQ通过多层消息队列和优化的存储结构实现了高性能的消息处理能力。
  2. 可扩展：RocketMQ采用分布式架构，可以通过横向扩展来满足不断增长的业务需求。
  3. 可靠性：RocketMQ提供了消息持久化、重试机制等功能，确保消息在各种故障场景下仍能被正确处理。
  4. 低延时：RocketMQ通过优化网络通信、消息存储等方面，实现了低延时的消息传递。
  5. 多种消息模式：RocketMQ支持点对点、发布/订阅等多种消息模式，以满足不同场景的需求。

RocketMQ广泛应用于大数据处理、实时计算、流式处理等领域，为企业提供了一个高性能、可靠的消息队列解决方案。

2. 案例

这里是一个简单的使用Java编写的RocketMQ生产者和消费者的示例。首先，确保您已将RocketMQ客户端依赖项添加到项目中。在本例中，我们使用Maven添加依赖：

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.9.0</version>
</dependency>

接下来，创建一个生产者（Producer）来发送消息：

import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;

public class RocketMQProducer {
    public static void main(String[] args) throws Exception {
        // 创建生产者实例
        DefaultMQProducer producer = new DefaultMQProducer("producer_group");
        // 设置NameServer地址
        producer.setNamesrvAddr("localhost:9876");
        // 启动生产者
        producer.start();

        // 创建消息实例
        Message message = new Message("test_topic", "tagA", "Hello RocketMQ".getBytes());
        
        // 发送消息
        SendResult result = producer.send(message);
        System.out.printf("Message sent: %s%n", result);

        // 关闭生产者
        producer.shutdown();
    }
}

然后，创建一个消费者（Consumer）来接收消息：

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.common.message.MessageExt;

public class RocketMQConsumer {
    public static void main(String[] args) throws Exception {
        // 创建消费者实例
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumer_group");
        // 设置NameServer地址
        consumer.setNamesrvAddr("localhost:9876");
        // 订阅Topic
        consumer.subscribe("test_topic", "*");

        // 注册消息处理监听器
        consumer.registerMessageListener((MessageListenerConcurrently) (msgs, context) -> {
            for (MessageExt msg : msgs) {
                System.out.printf("Received message: %s%n", new String(msg.getBody()));
            }
            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        });

        // 启动消费者
        consumer.start();
    }
}

在此示例中，我们创建了一个生产者和一个消费者，它们通过RocketMQ发送和接收消息。请注意，这个例子假设你已经在本地运行了一个RocketMQ NameServer 和 Broker。要运行这个示例，你需要先启动RocketMQ NameServer 和 Broker，然后分别运行Producer和Consumer示例。

3. RocketMQ原理

RocketMQ主要由四个部分构成：Producer（生产者）、Consumer（消费者）、NameServer（命名服务器）和Broker（消息中间件服务器）。

  1. Producer（生产者） ：生产者是消息的发送者。在RocketMQ中，生产者将消息发送到Broker。生产者主要负责创建新的消息，并确定这些消息将被发送到哪个Topic。
  2. Consumer（消费者） ：消费者是消息的接收者。在RocketMQ中，消费者从Broker拉取消息并处理。消费者可以订阅一个或多个Topic，以接收相关的消息。
  3. NameServer（命名服务器） ：NameServer提供了轻量级的服务发现和路由。每个Broker在启动的时候都会注册自己的信息到所有的NameServer，生产者和消费者通过NameServer来知道整个Broker集群的信息。NameServer也可以理解为一个简单的注册中心。它是无状态的，也就是说它不会保存任何关于消息的信息。
  4. Broker（消息中间件服务器） ：Broker是RocketMQ系统的重要组成部分，它负责存储消息、处理来自生产者的消息发送请求以及处理消费者的消息拉取请求。Broker可以横向扩展，支持消息的分区以及复制，以提高系统的吞吐量和可靠性。

下面是RocketMQ的工作流程：

  1. 消息发送流程：

    1.1 生产者查询NameServer以获取Topic路由信息。

    1.2 通过路由信息，生产者找到对应的Broker，并将消息发送到Broker。

    1.3 Broker接收到消息后，将消息存储在CommitLog（消息存储文件）中。

  2. 消息消费流程：

    2.1 消费者查询NameServer以获取Topic路由信息。

    2.2 通过路由信息，消费者找到对应的Broker，并从Broker拉取数据。

    2.3 Broker接收到拉取请求后，从CommitLog中读取消息，然后返回给消费者。

    2.4 消费者接收到消息后进行消费。

总的来说，RocketMQ通过生产者、消费者、NameServer和Broker的协同工作，实现了高效、可靠的消息队列服务。

avatar
文章
阅读
粉丝