面试题
如何保证消息不被重复消费啊又或者如何保证消息消费时的幂等性?
面试官心里分析
其实这是一个很常见的问题,这两问题基本可以连起来问。既然时消费消息,那肯定要考虑消息会不会被重复消费?能不能避免重复消费?或者重复消费了也别造成系统异常可以吗?这个是MQ领域的基本问题,其实本质还是问你使用消息队列如何保证幂等性,这个是你架构里要考虑的一个问题。
重复消费场景
例如RabbitMQ,采用的是手动应对的方式,消费端在消费完后,突然宕机了导致没有给消息队列发送应答,下次重启消费端时,队列又重新发送消息给消费端消费,导致消除重复消费
分析解答
其实重复消费不可怕,可怕的是你没考虑到重复消费之后,这么保证幂等性。
给你举个例子吧。假设你有个系统,消费一条往数据库插入一条数据,要是一个消息重复两次,你不就插入了两条,这数据不就错了?但是你要是消费到第二次的时候,自己判断一下已经消费过了,直接扔了,不就保留了一条数据?
幂等性,我通俗点说,就一个数据,或者一个请求,给你重复来多少次,你得确保对应的数据是不会改变的,不能出错。
那所以第二个问题来了,怎么保证消息队列的幂等性?
其实还是得结合实际业务来考虑,我这里给几个思路:
- 比如你拿个数据要写库,你先根据主键查一下,如果数据没有插入,如果有就update一下
- 比如你是写redis,那没问题,反正每次都是set,天然幂等性
- 比如你不是上面两个场景,那可以借助缓存,你需要让生产者发送每条数据的时候,里加一个全局唯一的ID,类似于订单ID之类的东西,然后你这里消费到了之后,先根据这个ID去缓存中查询一下,如果有就别消费了,如果没有就消费,消费完记得把ID添加到缓存中,缓存可以用redis也可以用内存Set来实现。