【消息队列】监听kafka消息进行消费

67 阅读1分钟

背景

消息存储,定时任务进行消费,消费失败的任务进行重试,重试超过一定次数抛弃;分布式锁保证某个任务同时只能被一台机器消费;分布式锁有默认过期时间,如果过期时间内不能消费完成,考虑延长过期时间,超过最长时间则抛弃;系统异常时(如服务挂掉)可能部分消息正在消费中,重启后修改消费状态为初始,重新消费覆盖旧的数据。

价值

解耦

数据持久化

失败重试

方案

消息存储

消息消费

消息重试,重试次数

分布式锁保证同时只有一个机器在消费

锁默认时间,时间延长

异常场景:机器重启

总结