写在最前:(推荐大家阅读一下下啦)
一、延时队列的应用 什么是延时队列?顾名思义:首先它要具有队列的特性,再给它附加一个延迟消费队列消息的功能,也就是说可以指定队列中的消息在哪个时间点被消费。 延时队列在项目中的应用还是比较多的,尤其像电商类平台: 1、订单成功后,在30分钟内没有支付,自动取消订单 2、外卖平台发送订餐通知,下单成功后60s给用户推送短信。 3、如果订单一直处于某一个未完结状态时,及时处理关单,并退还库存 4、淘宝新建商户一个月内还没上传商品信息,将冻结商铺等 。。。。 上边的这些场景都可以应用延时队列解决。
基于Redis Zset 实现
实现原理
Redis由于其自身的Zset数据结构,也同样可以实现延时的操作。 Zset本质就是Set结构上加了个排序的功能,除了添加数据value之外,还提供另一属性score,这一属性在添加元素时候可以指定,每次指定score后,Zset会自动重新按新的值调整顺序。
-
如果score代表的是想要执行时间的时间戳,在某个时间将它插入Zset集合中,它会按照时间戳大小进行排序,也就是对执行时间前后进行排序。
ZADD delay_queue 1581309229 taskId_1 (integer) 1 ZADD delay_queue 1581309129 taskId_2 (integer) 1 ZADD delay_queue 1581309329 taskId_3 (integer) 1
-
不断地进行取第一个key值,如果当前时间戳大于等于该key值的socre就将它取出来进行消费删除,就可以达到延时执行的目的。 注意不需要遍历整个Zset集合,以免造成性能浪费。
ZRANGE delay_queue 0 -1 withscores
- "taskId_2"
- "1581309129"
- "taskId_1"
- "1581309229"
- "taskId_3"
- "1581309329"
使用注意
-
遍历逻辑,删除逻辑,注意使用 Redis Lua 封装,确保原子性操作。更要注意 Redis Lua 在 Redis Cluster 的伪集群问题。
-
若是JAVA 语言可以直接使用 redisson,封装了 DelayedQueue 的实现。
源码逻辑 org/redisson/RedissonDelayedQueue.java
Beanstalkd 消息队列
Beanstalkd,一个高性能、轻量级的分布式内存队列系统。支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。
部署使用
-
Linux 安装 || docker 部署
yum install beanstalkd
||
docker run -d -p 11300:11300 pig4cloud/beanstalkd
-
客户端使用,pom 依赖
com.pig4cloud.beanstalk beanstalkd-client-spring-boot-starter 0.0.1 -
默认配置
-
代码使用
@Autowired private JobProducer producer;
/**
-
@param delay 是一个整形数,表示将job放入ready队列需要等待的秒数
-
@param ttr time to run—是一个整形数,表示允许一个worker执行该job的秒数。这个时间将从一个worker 获取一个job开始计算。
-
如果该worker没能在<ttr> 秒内删除、释放或休眠该job,这个job就会超时,服务端会主动释放该job。 -
最小ttr为1。如果客户端设置了0,服务端会默认将其增加到1。 -
@param priority 优先级 0~2**32的整数,最高优先级是0 */ @Test public void testSend() { String taskId = "1";// 业务对象信息 producer.putJob(0, 10, 10, taskId.getBytes()); }@Component public class DemoJobConsumer extends AbstractTubeConsumerListener {
@Override public void work(JobConsumer consumer) { // 阻塞多少秒获取一次 Job Job job = consumer.reserveJob(1000L);
// 消费此Job consumer.deleteJob(job.getId()); // 执行延时的业务逻辑 String biz = new String(job.getData());} }
-
扩展
-
数据库,利用定时任务轮询实现,业务量大会性能瓶颈。
-
延时队列的其他实现,比如 rabbitmq 利用ttl特性可以实现。无法取消已放入队列里面的数据,使用时特别注意死信队列的配置等。
-
还可以自己根据 时间轮片的算法 自行实现 。
-
总之一切,都要有补偿的逻辑,无论是业务人员手动触发还是自动补偿。