RocketMQ的优缺点
- 单机吞吐量可达十万级
- 支持10亿级别的消息堆积,不会因为堆积导致性能下降。
- 消息可靠性较高,经过参数优化配置,可以做到0丢失。
顺序消费
使用队列选择机制(MessageQueueSeletor),可以将业务ID进行取模,这样就能将业务相同的消息发送到同一个队列里面中去。
消息重复
消息重复产生的原因
网络原因闪断,ACK返回失败等等故障,确认信息没有传送到消息队列,导致消息队列不知道自己已经消费过该消息了,再次将该消息分发给其他的消费者。
- 当一条消息已被成功发送到服务端并完成持久化,此时出现网络闪断或者客户端宕机,导致服务端对客户端应答失败。如果此时生产者意识到消息发送失败并尝试再次发送消息,消费者会受到两条内容相同并且 Message ID相同的消息。
- 消息消费场景下,消息已投递到消费者并且完成业务处理,当客户端给服务端反馈应答的时候网络闪断,网络恢复后再次尝试投递之前已经处理过的消息。
- Broker或者客户端重启、扩容或者缩容时。
消息重复的解决方法
- 消费端处理消息的业务逻辑保持幂等性。
- 建立消息日志表,建立唯一索引,如果消息已经在表中,将丢弃这条消息。
消息积压的解决方法
- 消息堆积在内存Buffer,一旦超过内存Buffer,可以根据一定的丢弃策略来丢弃消息
- 消息堆积到持久化存储系统中,例如DB,KV存储,文件记录形式
消息发送的方式
-
可靠同步发送
应用场景:短信,邮件通知
-
可靠异步发送
应用场景:一般用于链路耗时较长,例如视频上传等
-
单向发送
应用场景:适用于耗时非常短,但是对可靠性要求并不高的场景,例如日志收集。