kafka消息堆积

0 阅读1分钟

1、线上kafka消息堆积问题

问题:为支持线上直播活动,将小磨盘服务下掉,资源分配个主应用,导致线上kafka消息堆积,consumer-monitor-collect

解决办法:(1)网关小磨盘配置同步下掉

(2)找个服务空消费这些消息,目前是在中台营销活动中完成kafka消费逻辑

nacos配置

image.png

测试环境验证步骤

(1)阿里云搜索ecs,登录相应服务器

image.png

image.png

(2)输入这些命令,进入到kafka

##进入相应的实例
docker exec -it xxxxxxxxx bash

##进入kafka目录
cd /opt/bitnami/kafka/bin

-##查看生产者topic
./kafka-topics.sh --bootstrap-server localhost:9092 --list

##查看消费者topic
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

##查看指定topic上所有分区的消息产生数量
kafka-get-offsets.sh --bootstrap-server localhost:9092 --topic topic-monitor-collect

##查看指定topic上消费者消费消息情况
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group consumer-monitor-collect --describe