前言
消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。消息队列RocketMQ版既可为分布式应用系统提供异步解耦和削峰填谷的能力,同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。具体详情参考 消息队列RocketMQ版 阿里云官网介绍。
在这一篇里,我们将介绍阿里云版RocketMQ,通过本篇的学习,你将收获:
- 什么是延时队列
- 延时队列使用场景
- 阿里云RocketMQ(商业云端版)申请步骤
- SpringBoot整合RocketMQ
什么是延时队列
顾名思义,延迟队列是指被延迟消费的队列。首先,队列意味着内部的元素是有序的,元素出队和入队是有方向性的。 普通的队列,消息一旦入队了之后就会被消费者马上消费。而延时队列,最重要的特性就体现在它的延时属性上,跟普通的队列不一样的是,延时队列中的元素则是希望被在指定时间取出和处理,可以说延时队列中的元素是都是带时间属性的。简单来说,延时队列就是用来存放需要在指定时间被处理的元素的队列。
延时队列使用场景
延时队列的运用场景比较多,比如以下场景:
- 订单在30分钟之内未支付则自动取消。
- 外卖平台发送订餐通知,下单成功后60s给用户推送短信
- 预定会议后,在预定的时间点前十分钟通知各个与会人员参加会议
- 商品支付成功后,24小时未评论则自动好评
- 商品订单在一周内未支付,则自动结算,退还库存。
大家应该都发现了这些场景都有一个共同特点,需要在指定的时间点完成某一项任务。这个时候就有人会说了,这些功能可以使用定时任务,一直轮询数据,每秒取出需要被处理的数据然后处理。如果数据量比较少,确实可以这样做;如果对数据实时性不是有严格的限制,那么每小时执行下定时任务出来数据,确实也是一个可行的方案。但是对于数据量比较大,并且时效性较强的场景,这种轮询方式很难再一个周期内处理完业务数据,这就会给系统和数据库带来很大压力,无法满足业务要求而且性能低下。
这时候,延时队列就可以闪亮登场了,以上场景,正是延时队列的用武之地。延迟队列的实现方式比较多,比如DelayQueue延时队列、RabbitMQ队列、Redis过期回调等等。
接下来,本文将介绍如何用RocketMQ来实现延时队列。
RocketmMq开源版和商业版区别
可靠性
商业版支持同步刷盘,同步双写,保障消息的可靠性。
严格的消息顺序
阿里商业版MQ支持更严格的消息顺序(严格FIFO),在顺序消息场景下,一台Broker宕机后,不会乱序。
定时消息与延时消息
开源版本RocketMQ仅支持定时Level,不支持任意时间精度 阿里MQ支持定时Level,以及指定的毫秒级别的延时时间
商业版独有的事务场景
MQ支持事务消息,满足企业的一致性需求。
-
开源rocketMQ是阿里MQ的核心,但是rocketMQ事务消息,与阿里MQ事务实现机制不一样,阿里MQ的事务代码并未开源。
-
阿里MQ结合阿里GTS能实现多种消息事务,包括服务+消息事务一致、 消息链路上的多个服务间事务一致等能力。
商业版具备更专业的运维支持
链路轨迹追踪、消息查询、监控告警、消息回溯等,同时也提供专业的运维支持。
阿里云RocketMQ(商业云端版)申请步骤
前提条件您已注册阿里云账号并完成实名认证
搜索rocketmq
选择消息队列RocketMQ版本
免费开通
在弹出的提示对话框中,单击开通MQ服务。
在确认订单页面,阅读订单内容以及服务协议后,选中我已阅读并同意消息队列 MQ 服务协议,然后单击立即开通。
当您看到以下内容,则说明您已成功开通消息队列服务。
申请实例
- 登录消息队列RocketMQ版控制台。
- 在左侧导航栏,单击实例列表。
- 在实例列表页面,单击创建实例。
在创建 RocketMQ 实例面板,选择实例类型,并输入名称和描述,然后单击确定
申请topic
- 在实例所在页面的左侧导航栏,单击Topic 管理。
- 在Topic 管理页面,单击创建 Topic
在创建 Topic面板,输入名称和描述,选择该Topic的消息类型,然后单击确定。
申请group
- 在实例所在页面的左侧导航栏,单击Group 管理。
- 在Group 管理页面,选择TCP 协议 > 创建 Group ID。
在创建可用于 TCP 协议的 Group面板,输入Group ID和描述,然后单击确定
获取获取接入点nameServiceAddress
- 在实例所在页面的左侧导航栏,单击实例详情。
- 在实例详情页面单击接入点页签。
在TCP(TCP) 协议客户端接入点区域,将鼠标移动至所需的接入点名称并单击即可完成复制
获取AccessKey id 和 Secret
- 使用云账号登录RAM控制台。
- 在左侧导航栏的人员管理菜单下,单击用户。
- 在用户登录名称/显示名称列表下,单击目标RAM用户名称。
- 在用户AccessKey区域下,单击创建AccessKey。 完成以上准备工作后,我们可以获取到RocketMQ消息队列的基本配置信息,下面我们将实现用消息队列RocketMQ版进行消息发送和订阅了。
SpringBoot 整合RocketMQ
引入依赖包
<!-- aliyun business version rocketmq-->
<dependency>
<groupId>com.aliyun.openservices</groupId>
<artifactId>ons-client</artifactId>
<version>1.8.4.Final</version>
</dependency>
yml配置文件添加属性
nepenthe:
rocketmq:
accessKey: #连接AccessKey id ,替换成自己的
secretKey: #连接AccessKey secret,替换成自己的
nameSrvAddr: #生产者ons接入域名,替换成自己的
delayTopic: #生产主题,替换成自己的
groupId: #生产者id(旧版本是生产者id,新版本是groupid),替换成自己的
timeoutMillis: #发送过期时间,自定义
封装RocketMQ配置文件
@Configuration
public class RocketMqConfig {
/**
*鉴权需要的AccessKey ID
*/
@Value("${nepenthe.rocketmq.accessKey}")
private String accessKey;
/**
*鉴权需要的AccessKey Secret
*/
@Value("${nepenthe.rocketmq.secretKey}")
private String secretKey;
/**
* 实例TCP 协议公网接入地址(实际项目,填写自己阿里云MQ的公网地址)
*/
@Value("${nepenthe.rocketmq.nameSrvAddr}")
private String nameSrvAddr;
/**
* 延时队列topic
*/
@Value("${nepenthe.rocketmq.delayTopic}")
private String delayTopic;
/**
* 延时队列group
*/
@Value("${nepenthe.rocketmq.groupId}")
private String groupId;
/**
* 设置发送超时时间
*/
@Value("${nepenthe.rocketmq.timeoutMillis}")
private String timeoutMillis;
public Properties getRocketMqProperty() {
Properties properties = new Properties();
properties.setProperty(PropertyKeyConst.GROUP_ID,this.getGroupId());
properties.setProperty(PropertyKeyConst.AccessKey, this.accessKey);
properties.setProperty(PropertyKeyConst.SecretKey, this.secretKey);
properties.setProperty(PropertyKeyConst.NAMESRV_ADDR, this.nameSrvAddr);
properties.setProperty(PropertyKeyConst.SendMsgTimeoutMillis, this.timeoutMillis);
return properties;
}
//TODO get set方法,自己实现
}
配置生产者
@Component
public class RocketMqProducerInit {
@Autowired
private RocketMqConfig mqConfig;
private static Producer producer;
@PostConstruct
public void init(){
System.out.println("启动RocketMq生产者!");
producer = ONSFactory.createProducer(mqConfig.getRocketMqProperty());
// 在发送消息前,初始化调用start方法来启动Producer,只需调用一次即可,当项目关闭时,自动shutdown
producer.start();
}
/**
* 初始化生产者
* @return
*/
public Producer getProducer(){
return producer;
}
}
生产者发送消息的方法
@Component
public class ProducerHandler {
private Logger logger = LoggerFactory.getLogger(ProducerHandler.class);
@Autowired
private RocketMqConfig config;
@Autowired
private RocketMqProducerInit producer;
/**
* 同步发送延时消息
* @param msgTag 标签,可用于消息小分类标注,对消息进行再归类
* @param messageBody 消息body内容,
* @param msgKey 消息key值,
* @param delayTime 服务端发送消息时间
* @return success:SendResult or error:null
*/
public SendResult sendTimeMsg(String msgTag, byte[] messageBody, String msgKey, long delayTime) {
Message msg = new Message(config.getDelayTopic(),msgTag,msgKey,messageBody);
msg.setStartDeliverTime(delayTime);
return this.send(msg);
}
/**
* 消息发送
* @param msg 消息
*/
private SendResult send(Message msg) {
try {
SendResult sendResult = producer.getProducer().send(msg);
//获取发送结果,不抛异常即发送成功
if (sendResult != null) {
logger.info("发送RocketMQ消息成功 -- Topic:{} ,msgId:{} , Key:{}, tag:{}, message:{}"
,msg.getTopic(),sendResult.getMessageId(),msg.getKey(),msg.getTag(),new String(msg.getBody()));
return sendResult;
}else {
logger.error("发送RocketMQ消息失败-- Topic:{}, Key:{}, tag:{}, message:{}"
,msg.getTopic(),msg.getKey(),msg.getTag(),new String(msg.getBody()));
return null;
}
} catch (Exception e) {
logger.error("发送RocketMQ消息失败-- Topic:{}, Key:{}, tag:{}, message:{},错误原因:{}"
,msg.getTopic(),msg.getKey(),msg.getTag(),new String(msg.getBody()),e.getMessage());
return null;
}
}
配置消费者
@Component
public class RocketmqConsumerInit {
@Autowired
private RocketMqConfig mqConfig;
private static Consumer consumer;
@PostConstruct
public void init(){
System.out.println("启动消费者!");
consumer = ONSFactory.createConsumer(mqConfig.getRocketMqProperty());
//监听第一个topic,new对应的监听器
consumer.subscribe(mqConfig.getDelayTopic(), "*", new DelayQueueMessageListener());
// 在发送消息前,必须调用start方法来启动consumer,只需调用一次即可,当项目关闭时,自动shutdown
consumer.start();
}
/**
* 初始化消费者
* @return
*/
public Consumer getConsumer(){
return consumer;
}
}
消费者消息监听
@Service
public class DelayQueueMessageListener implements MessageListener {
private Logger logger = LoggerFactory.getLogger(this.getClass());
@Override
public Action consume(Message message, ConsumeContext consumeContext) {
logger.info("接收到MQ消息 -- Topic:{}, tag:{},msgId:{} , Key:{}, body:{}",
message.getTopic(), message.getTag(), message.getMsgID(), message.getKey(), new String(message.getBody()));
try {
//TODO 处理业务
//消费成功,继续消费下一条消息
return Action.CommitMessage;
} catch (Exception e) {
logger.error("消费MQ消息失败! msgId:" + message.getMsgID() + "----ExceptionMsg:" + e.getMessage());
//消费失败,告知服务器稍后再投递这条消息,继续消费其他消息
return Action.ReconsumeLater;
}
}
}
运行结果
@Autowired
private ProducerHandler producerHandler;
@RequestMapping("delayMsg")
public void delayMsg2(String msg, Integer delayTime) {
JSONObject body = new JSONObject();
body.put("userId", "this is userId");
body.put("notice", "同步消息");
producerHandler.sendTimeMsg("userMessage", msg.getBytes(), "messageId", System.currentTimeMillis()+delayTime);
}
日志如下:
2021-02-25 18:05:20.584 [http-nio-8080-exec-7] 1591467 INFO c.x.n.m.mq.rocketmq.ProducerUtil - TraceId[1614247520XAkUQkT0qv6] 发送MQ消息成功 -- Topic:auto_publish_delay_queue_topic ,msgId:0A4922E703D914DAD5DC7F7A4908000D , Key:messageId, tag:userMessage, body:我是延时队列延时10秒
2021-02-25 18:05:26.389 [http-nio-8080-exec-9] 1597272 INFO c.x.n.m.mq.rocketmq.ProducerUtil - TraceId[1614247526jymlRyaX9m6] 发送MQ消息成功 -- Topic:auto_publish_delay_queue_topic ,msgId:0A4922E703D914DAD5DC7F7A5F780010 , Key:messageId, tag:userMessage, body:我是延时队列延时12秒
2021-02-25 18:05:30.620 [ConsumeMessageThread_3] 1601503 INFO c.x.n.m.m.r.DelayQueueMessageListener - 接收到MQ消息 -- Topic:auto_publish_delay_queue_topic, tag:userMessage,msgId:bf58a99274cfadeddbec720c12d8607d , Key:messageId, body:我是延时队列延时10秒
2021-02-25 18:05:38.871 [ConsumeMessageThread_4] 1609754 INFO c.x.n.m.m.r.DelayQueueMessageListener - 接收到MQ消息 -- Topic:auto_publish_delay_queue_topic, tag:userMessage,msgId:d44270736cdfa2927194650c451584c3 , Key:messageId, body:我是延时队列延时12秒
注意两个消息的发送时间与消费时间,符合预期。至此,RocketMQ实现延时队列的部分就完结了。
参考文档