RabbitMQ的可靠性，比你想的更深一点（二）
Hello各位同学大家好，我是黑马程序员的虎哥，很高兴又跟大家见面了。今天继续跟大家聊聊RabbitMQ的消息可靠性问题。
0. 文章导读
在微服务项目中，消息队列可以说是使用频率非常高的组件。而消息可靠性则是使用消息队列的技术难点，也是面试的热点。我将以RabbitMQ为例，带领大家从消息可靠性产生原因、解决思路、具体代码等多个方面层层深入，彻底弄懂消息可靠性的解决方案。
由于内容较多，我们会分成多篇文章来分析，在上一篇我们讨论了如何确保消息发送时的可靠性，尽可能让消息到达MQ。本篇我们就来分析一下，如何确保MQ不会把消息弄丢。
注意：本篇文章会基于SpringAMQP来讲解RabbitMQ可靠性的具体代码实现。如果不会的同学需要先自行学习SpringAMQP的基本用法。
1. 什么是消息可靠性
所谓的消息可靠性就是确保消息发送后至少要被消费者处理一次。
在实际业务中，由于各种原因，消息发送后消费者不一定能接收到消息。对于普通业务来说丢失一两条消息没什么，但一些对安全性要求较高的业务，一旦消息丢失，就会出现严重的异常。
所以，我们必须想办法确保消息的可靠性，尽可能使发送的消息被消费者接受并正确处理。
2. 消息丢失原因
首先，我们一起分析一下消息丢失的可能性有哪些。 消息从发送者发送消息，到消费者处理消息，需要经过的流程是这样的：
消息从生产者到消费者的每一步都可能导致消息丢失：
-
发送消息时丢失：
- 发送者发送消息时连接MQ失败
- 发送者发送消息到达MQ后未找到Exchange
- 发送者发送消息到达MQ的Exchange后，未找到合适的Queue
- 消息到达MQ后，处理消息的进程发生异常
-
MQ导致消息丢失：
- 消息到达MQ，保存到队列后，尚未消费就突然宕机
-
消费者处理消息时：
- 消息接收后尚未处理突然宕机
- 消息接收后处理过程中抛出异常
综上，我们要解决消息丢失问题，保证MQ的可靠性，就必须从3个方面入手：
- 确保发送者一定把消息发送到MQ
- 确保MQ不会将消息弄丢
- 确保消费者一定要处理消息
在上一篇我们讨论了如何确保消息发送时的可靠性，尽可能让消息到达MQ。本篇我们就来分析一下，如何确保MQ不会把消息弄丢。
3. MQ的可靠性
消息到达MQ以后，如果MQ不能及时保存，也会导致消息丢失，所以MQ的可靠性也非常重要。
3.1.数据持久化
为了提升性能，默认情况下MQ的数据都是在内存存储的临时数据，重启后就会消失。为了保证数据的可靠性，必须配置数据持久化，包括：
- 交换机持久化
- 队列持久化
- 消息持久化
那么该如何实现持久化呢？我们以RabbitMQ的控制台界面操作为例来说明。
交换机持久化
在控制台的Exchanges页面，添加交换机时可以配置交换机的Durability参数：
设置为Durable就是持久化模式，Transient就是临时模式。
队列持久化
在控制台的Queues页面，添加队列时，同样可以配置队列的Durability参数：
除了持久化以外，你可以看到队列还有很多其它参数，有一些我们会在后期学习。
消息持久化
在控制台发送消息的时候，可以添加很多参数，而消息的持久化是要配置一个properties：
说明： 在开启持久化机制以后，如果同时还开启了生产者确认，那么MQ会在消息持久化以后才发送ACK回执，进一步确保消息的可靠性。 不过出于性能考虑，为了减少IO次数，发送到MQ的消息并不是逐条持久化到数据库的，而是每隔一段时间批量持久化。一般间隔在100毫秒左右，这就会导致ACK有一定的延迟，因此建议生产者确认全部采用异步方式。
3.2.LazyQueue
在默认情况下，RabbitMQ会将接收到的信息保存在内存中以降低消息收发的延迟。但在某些特殊情况下，这会导致消息积压，比如：
- 消费者宕机或出现网络故障
- 消息发送量激增，超过了消费者处理速度
- 消费者处理业务发生阻塞
一旦出现消息堆积问题，RabbitMQ的内存占用就会越来越高，直到触发内存预警上限。此时RabbitMQ会将内存消息刷到磁盘上，这个行为成为PageOut. PageOut会耗费一段时间，并且会阻塞队列进程。因此在这个过程中RabbitMQ不会再处理新的消息，生产者的所有请求都会被阻塞。 如图，触发PageOut导致消息处理速度不稳定：
为了解决这个问题，从RabbitMQ的3.6.0版本开始，就增加了Lazy Queues的模式，也就是惰性队列。惰性队列的特征如下：
- 接收到消息后直接存入磁盘而非内存
- 消费者要消费消息时才会从磁盘中读取并加载到内存（也就是懒加载）
- 支持数百万条的消息存储
而在3.12版本之后，LazyQueue已经成为所有队列的默认格式。因此官方推荐升级MQ为3.12版本或者所有队列都设置为LazyQueue模式。
3.2.1.控制台配置Lazy模式
在添加队列的时候，添加x-queue-mod=lazy参数即可设置队列为Lazy模式：
3.2.2.代码配置Lazy模式
在利用SpringAMQP声明队列的时候，添加x-queue-mode=lazy参数也可设置队列为Lazy模式：
@Bean
public Queue lazyQueue(){
return QueueBuilder
.durable("lazy.queue")
.lazy() // 开启Lazy模式
.build();
}
上面的代码是通过QueueBuilder的lazy()函数配置Lazy模式，底层源码如下：
当然，我们也可以基于注解来声明队列并设置为Lazy模式：
@RabbitListener(queuesToDeclare = @Queue(
name = "lazy.queue",
durable = "true",
arguments = @Argument(name = "x-queue-mode", value = "lazy")
))
public void listenLazyQueue(String msg){
log.info("接收到 lazy.queue的消息：{}", msg);
}
3.2.3.更新已有队列为lazy模式
对于已经存在的队列，也可以配置为lazy模式，但是要通过设置policy实现。
可以在RabbitMQ服务上，基于命令行设置policy：
rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues
命令解读：
rabbitmqctl：RabbitMQ的命令行工具set_policy：添加一个策略Lazy：策略名称，可以自定义"^lazy-queue$"：用正则表达式匹配队列的名字'{"queue-mode":"lazy"}'：设置队列模式为lazy模式--apply-to queues：策略的作用对象，是所有的队列
当然，也可以在控制台配置policy，进入在控制台的Admin页面，点击Policies，即可添加配置：
总结
OK，有关MQ的可靠性我们就分析完了。 总结一下，消息队列消息丢失的原因有很多，主要是3个层面：
- 发送者丢失消息
- MQ丢失消息
- 消费者丢失消息
我们保证消息可靠性也要从这3方面入手。本篇我们讨论了如何确保MQ不丢失消息。
- 数据持久化
- LazyQueue
现在，消息已经能正确发送，也能到达MQ了。接下来就是把消息投递给消费者，让消费者处理消息了。那么问题来了：
我们该如何确保消费者一定能接收并处理消息呢？
别着急，我们下期继续分析，咱们下期再见！
更多精彩内容，可关注《黑马程序员-研究院》公众号！
