阅读 814

Spring boot整合阿里云RocketMQ 实现延时队列

前言

消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。消息队列RocketMQ版既可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。具体详情参考 消息队列RocketMQ版 阿里云官网介绍。

在这一篇里,我们将介绍阿里云版RocketMQ,通过本篇的学习,你将收获:

  • 什么是延时队列
  • 延时队列使用场景
  • 阿里云RocketMQ(商业云端版)申请步骤
  • SpringBoot整合RocketMQ

什么是延时队列

顾名思义,延迟队列是指被延迟消费的队列。首先,队列意味着内部的元素是有序的,元素出队和入队是有方向性的。 普通的队列,消息一旦入队了之后就会被消费者马上消费。而延时队列,最重要的特性就体现在它的延时属性上,跟普通的队列不一样的是,延时队列中的元素则是希望被在指定时间取出和处理,可以说延时队列中的元素是都是带时间属性的。简单来说,延时队列就是用来存放需要在指定时间被处理的元素的队列。

延时队列使用场景

延时队列的运用场景比较多,比如以下场景:

  • 订单在30分钟之内未支付则自动取消。
  • 外卖平台发送订餐通知,下单成功后60s给用户推送短信
  • 预定会议后,在预定的时间点前十分钟通知各个与会人员参加会议
  • 商品支付成功后,24小时未评论则自动好评 
  • 商品订单在一周内未支付,则自动结算,退还库存。

大家应该都发现了这些场景都有一个共同特点,需要在指定的时间点完成某一项任务。这个时候就有人会说了,这些功能可以使用定时任务,一直轮询数据,每秒取出需要被处理的数据然后处理。如果数据量比较少,确实可以这样做;如果对数据实时性不是有严格的限制,那么每小时执行下定时任务出来数据,确实也是一个可行的方案。但是对于数据量比较大,并且时效性较强的场景,这种轮询方式很难再一个周期内处理完业务数据,这就会给系统和数据库带来很大压力,无法满足业务要求而且性能低下。

这时候,延时队列就可以闪亮登场了,以上场景,正是延时队列的用武之地。延迟队列的实现方式比较多,比如DelayQueue延时队列、RabbitMQ队列、Redis过期回调等等。

接下来,本文将介绍如何用RocketMQ来实现延时队列。

RocketmMq开源版和商业版区别

可靠性

商业版支持同步刷盘,同步双写,保障消息的可靠性。

严格的消息顺序

阿里商业版MQ支持更严格的消息顺序(严格FIFO),在顺序消息场景下,一台Broker宕机后,不会乱序。

定时消息与延时消息

开源版本RocketMQ仅支持定时Level,不支持任意时间精度 阿里MQ支持定时Level,以及指定的毫秒级别的延时时间

商业版独有的事务场景

MQ支持事务消息,满足企业的一致性需求。

  • 开源rocketMQ是阿里MQ的核心,但是rocketMQ事务消息,与阿里MQ事务实现机制不一样,阿里MQ的事务代码并未开源。

  • 阿里MQ结合阿里GTS能实现多种消息事务,包括服务+消息事务一致、 消息链路上的多个服务间事务一致等能力。

商业版具备更专业的运维支持

链路轨迹追踪、消息查询、监控告警、消息回溯等,同时也提供专业的运维支持。

阿里云RocketMQ(商业云端版)申请步骤

前提条件您已注册阿里云账号并完成实名认证

搜索rocketmq

选择消息队列RocketMQ版本

免费开通

在弹出的提示对话框中,单击开通MQ服务。

在确认订单页面,阅读订单内容以及服务协议后,选中我已阅读并同意消息队列 MQ 服务协议,然后单击立即开通。

当您看到以下内容,则说明您已成功开通消息队列服务。

申请实例
  • 登录消息队列RocketMQ版控制台。
  • 在左侧导航栏,单击实例列表。
  • 在实例列表页面,单击创建实例。

在创建 RocketMQ 实例面板,选择实例类型,并输入名称和描述,然后单击确定

申请topic

  • 在实例所在页面的左侧导航栏,单击Topic 管理。
  • 在Topic 管理页面,单击创建 Topic

在创建 Topic面板,输入名称和描述,选择该Topic的消息类型,然后单击确定。

申请group

  • 在实例所在页面的左侧导航栏,单击Group 管理。
  • 在Group 管理页面,选择TCP 协议 > 创建 Group ID。

在创建可用于 TCP 协议的 Group面板,输入Group ID和描述,然后单击确定

获取获取接入点nameServiceAddress

  • 在实例所在页面的左侧导航栏,单击实例详情。
  • 在实例详情页面单击接入点页签。

在TCP(TCP) 协议客户端接入点区域,将鼠标移动至所需的接入点名称并单击即可完成复制

获取AccessKey id 和 Secret

  • 使用云账号登录RAM控制台。
  • 在左侧导航栏的人员管理菜单下,单击用户。
  • 在用户登录名称/显示名称列表下,单击目标RAM用户名称。
  • 在用户AccessKey区域下,单击创建AccessKey。

完成以上准备工作后,我们可以获取到RocketMQ消息队列的基本配置信息,下面我们将实现用消息队列RocketMQ版进行消息发送和订阅了。

SpringBoot 整合RocketMQ

引入依赖包

     <!-- aliyun business version rocketmq-->
        <dependency>
            <groupId>com.aliyun.openservices</groupId>
            <artifactId>ons-client</artifactId>
            <version>1.8.4.Final</version>
        </dependency>
复制代码

yml配置文件添加属性

nepenthe:
  rocketmq:
    accessKey: #连接AccessKey id ,替换成自己的
    secretKey: #连接AccessKey secret,替换成自己的
    nameSrvAddr: #生产者ons接入域名,替换成自己的
    delayTopic:  #生产主题,替换成自己的
    groupId: #生产者id(旧版本是生产者id,新版本是groupid),替换成自己的
	timeoutMillis: #发送过期时间,自定义
复制代码

封装RocketMQ配置文件

@Configuration
public class RocketMqConfig {

     /**
     *鉴权需要的AccessKey ID
     */
    @Value("${nepenthe.rocketmq.accessKey}")
    private String accessKey;

    /**
     *鉴权需要的AccessKey Secret
     */
    @Value("${nepenthe.rocketmq.secretKey}")
    private String secretKey;

    /**
     * 实例TCP 协议公网接入地址(实际项目,填写自己阿里云MQ的公网地址)
     */
    @Value("${nepenthe.rocketmq.nameSrvAddr}")
    private String nameSrvAddr;

    /**
     * 延时队列topic
     */
    @Value("${nepenthe.rocketmq.delayTopic}")
    private String delayTopic;

    /**
     * 延时队列group
     */
    @Value("${nepenthe.rocketmq.groupId}")
    private String groupId;

    /**
     * 设置发送超时时间
     */
    @Value("${nepenthe.rocketmq.timeoutMillis}")
    private String  timeoutMillis;


    public Properties getRocketMqProperty() {
        Properties properties = new Properties();
        properties.setProperty(PropertyKeyConst.GROUP_ID,this.getGroupId());
        properties.setProperty(PropertyKeyConst.AccessKey, this.accessKey);
        properties.setProperty(PropertyKeyConst.SecretKey, this.secretKey);
        properties.setProperty(PropertyKeyConst.NAMESRV_ADDR, this.nameSrvAddr);
        properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, this.timeoutMillis);
        return properties;
    }

//TODO get set方法,自己实现
}
复制代码

配置生产者

@Component
public class RocketMqProducerInit {

    @Autowired
    private RocketMqConfig mqConfig;

    private static Producer producer;


    @PostConstruct
    public void init(){
        System.out.println("启动RocketMq生产者!");
        producer = ONSFactory.createProducer(mqConfig.getRocketMqProperty());
        // 在发送消息前,初始化调用start方法来启动Producer,只需调用一次即可,当项目关闭时,自动shutdown
        producer.start();
    }

    /**
     * 初始化生产者
     * @return
     */
    public Producer getProducer(){
        return producer;
    }
}
复制代码

生产者发送消息的方法

@Component
public class ProducerHandler {

    private Logger logger = LoggerFactory.getLogger(ProducerHandler.class);

    @Autowired
    private RocketMqConfig config;

    @Autowired
    private RocketMqProducerInit producer;

    /**
     * 同步发送延时消息
     * @param msgTag 标签,可用于消息小分类标注,对消息进行再归类
     * @param messageBody 消息body内容,
     * @param msgKey 消息key值,
     * @param delayTime 服务端发送消息时间
     * @return success:SendResult or error:null
            */
    public SendResult sendTimeMsg(String msgTag, byte[] messageBody, String msgKey, long delayTime) {
        Message msg = new Message(config.getDelayTopic(),msgTag,msgKey,messageBody);
        msg.setStartDeliverTime(delayTime);
        return this.send(msg);
    }

    /**
     * 消息发送
     * @param msg 消息
     */
    private SendResult send(Message msg) {
        try {
               
                SendResult sendResult = producer.getProducer().send(msg);
                //获取发送结果,不抛异常即发送成功
                if (sendResult != null) {
                    logger.info("发送RocketMQ消息成功 -- Topic:{} ,msgId:{} , Key:{}, tag:{}, message:{}"
                            ,msg.getTopic(),sendResult.getMessageId(),msg.getKey(),msg.getTag(),new String(msg.getBody()));
                    return sendResult;
                }else {
                    logger.error("发送RocketMQ消息失败-- Topic:{}, Key:{}, tag:{}, message:{}"
                            ,msg.getTopic(),msg.getKey(),msg.getTag(),new String(msg.getBody()));
                    return null;
                }
        } catch (Exception e) {
            logger.error("发送RocketMQ消息失败-- Topic:{}, Key:{}, tag:{}, message:{},错误原因:{}"
                    ,msg.getTopic(),msg.getKey(),msg.getTag(),new String(msg.getBody()),e.getMessage());
            return null;
        }
    }
复制代码

配置消费者

@Component
public class RocketmqConsumerInit {

    @Autowired
    private RocketMqConfig mqConfig;

    private static Consumer consumer;


    @PostConstruct
    public void init(){
        System.out.println("启动消费者!");
        consumer = ONSFactory.createConsumer(mqConfig.getRocketMqProperty());
        //监听第一个topic,new对应的监听器
        consumer.subscribe(mqConfig.getDelayTopic(), "*", new DelayQueueMessageListener());
        // 在发送消息前,必须调用start方法来启动consumer,只需调用一次即可,当项目关闭时,自动shutdown
        consumer.start();
    }

    /**
     * 初始化消费者
     * @return
     */
    public Consumer getConsumer(){
        return consumer;
    }

}
复制代码

消费者消息监听

@Service
public class DelayQueueMessageListener implements MessageListener {
    private Logger logger = LoggerFactory.getLogger(this.getClass());

    @Override
    public Action consume(Message message, ConsumeContext consumeContext) {
        logger.info("接收到MQ消息 -- Topic:{}, tag:{},msgId:{} , Key:{}, body:{}",
                message.getTopic(), message.getTag(), message.getMsgID(), message.getKey(), new String(message.getBody()));
        try {
            //TODO  处理业务
            //消费成功,继续消费下一条消息
            return Action.CommitMessage;
        } catch (Exception e) {
            logger.error("消费MQ消息失败! msgId:" + message.getMsgID() + "----ExceptionMsg:" + e.getMessage());
            //消费失败,告知服务器稍后再投递这条消息,继续消费其他消息
            return Action.ReconsumeLater;
        }
    }
}
复制代码

运行结果


    @Autowired
    private ProducerHandler producerHandler;
    
    @RequestMapping("delayMsg")
    public void delayMsg2(String msg, Integer delayTime) {

        JSONObject body = new JSONObject();
        body.put("userId", "this is userId");
        body.put("notice", "同步消息");
        producerHandler.sendTimeMsg("userMessage", msg.getBytes(), "messageId", System.currentTimeMillis()+delayTime);
    }
复制代码

日志如下:

2021-02-25 18:05:20.584 [http-nio-8080-exec-7] 1591467 INFO  c.x.n.m.mq.rocketmq.ProducerUtil - TraceId[1614247520XAkUQkT0qv6] 发送MQ消息成功 -- Topic:auto_publish_delay_queue_topic ,msgId:0A4922E703D914DAD5DC7F7A4908000D , Key:messageId, tag:userMessage, body:我是延时队列延时10秒
2021-02-25 18:05:26.389 [http-nio-8080-exec-9] 1597272 INFO  c.x.n.m.mq.rocketmq.ProducerUtil - TraceId[1614247526jymlRyaX9m6] 发送MQ消息成功 -- Topic:auto_publish_delay_queue_topic ,msgId:0A4922E703D914DAD5DC7F7A5F780010 , Key:messageId, tag:userMessage, body:我是延时队列延时12秒

2021-02-25 18:05:30.620 [ConsumeMessageThread_3] 1601503 INFO  c.x.n.m.m.r.DelayQueueMessageListener -  接收到MQ消息 -- Topic:auto_publish_delay_queue_topic, tag:userMessage,msgId:bf58a99274cfadeddbec720c12d8607d , Key:messageId, body:我是延时队列延时10秒
2021-02-25 18:05:38.871 [ConsumeMessageThread_4] 1609754 INFO  c.x.n.m.m.r.DelayQueueMessageListener -  接收到MQ消息 -- Topic:auto_publish_delay_queue_topic, tag:userMessage,msgId:d44270736cdfa2927194650c451584c3 , Key:messageId, body:我是延时队列延时12秒
复制代码

注意两个消息的发送时间与消费时间,符合预期。至此,RocketMQ实现延时队列的部分就完结了。

参考文档

阿里云rocketmq消息队列开发者文档

文章分类
后端
文章标签