这是我参与2022首次更文挑战的第5天，活动详情查看：[2022首次更文挑战](https://juejin.cn/post/7052884569032392740 "https://juejin.cn/post/7052884569032392740") # Kafka配置jmx_exporter 点击：[https://github.com/prometheus/jmx_exporter](https://github.com/prometheus/jmx_exporter "https://github.com/prometheus/jmx_exporter")，选择下面的jar包下载： ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/5ed7df0d57384377bed19be7494f53cc~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动") 将下载好的这个agent jar包上传到kafka的broker节点所在服务器上，每个broker都需要，比如上传到如下路径： ```bash /opt/agent/jmx_prometheus_javaagent-0.16.1.jar ``` 修改kafka启动脚本: bin/kafka-server-start.sh，在脚本首部，增加java agent变量如下： ```bash export JMX_EXPORTER_OPTS="-javaagent:/opt/agent/jmx_prometheus_javaagent-0.16.1.jar=9095:/opt/agent/kafka_broker.yml" ``` 修改kafka的脚本 bin/kafka-run-class.sh，增加下面几行代码，使变量生效： ```bash if [ $JMX_EXPORTER_OPTS ]; then KAFKA_JMX_OPTS="$KAFKA_JMX_OPTS $JMX_EXPORTER_OPTS" fi ``` 这几行代码可以放在kafka-run-class.sh的最下面这个位置，在启动代码前即可： ![image.png](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/572b68e1c8674ab7ba4466f68a7bc520~tplv-k3u1fbpfcp-watermark.image?) 在代理配置中指定了9095作为指标采集的端口，如果端口冲突，请更换其它端口，jmx_exporter用到的kafka_broker.yml 配置如下：[https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_broker.yml](https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_broker.yml "https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_broker.yml") 将kafka集群的每个broker实例都这样配置，重启kafka。启动完成后可以查看kafka是否有启动报错日志，或者访问：http://kafka-host:9095/metrics ，看下是否有相关监控指标信息来确认配置是否成功。 # Prometheus配置修改prometheus的配置文件prometheus.yml，增加如下配置： ```yaml - job_name: 'kafka' metrics_path: /metrics static_configs: - targets: ['kafka1:9095', 'kafka2:9095', 'kafka3:9095'] labels: env: "test" ``` p.s. 注意job_name不要修改，值就是"kafka"，要不我下面的grafana不能直接用，还需要每个面板依次修改。如果对这一套比较熟悉，可以自己再进行相关调整。 # Grafana配置下面的Grafana面板我已经配置好，可以直接拿来用，之后可以根据需要增加或删除相关面板：[https://github.com/xxd763795151/kafka-exporter/blob/main/grafana.json](https://github.com/xxd763795151/kafka-exporter/blob/main/grafana.json "https://github.com/xxd763795151/kafka-exporter/blob/main/grafana.json") 贴几个截图： ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a7bba56487a0464e95ecad5315bfe497~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动") ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/818a3784a3f247abb67f0cfb4338dd68~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动") ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e61a5dd520e5432a820bec964d009d12~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动") ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1d4f6c98b1684306aec58c970214ab95~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动") ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/058c6b11cb2e4ba4bfd985a60f738e99~tplv-k3u1fbpfcp-zoom-1.image)![](<> "点击并拖拽以移动") # 消息积压在kafka的broker端无法直接获取消息积压等指标信息，这些数据在消费端上，我们也不太可能去连接所有的消费端获取监控信息。所以，我单独写了一个kafka-exporter可以获取消息积压的监控指标：[https://github.com/xxd763795151/kafka-exporter](https://github.com/xxd763795151/kafka-exporter "https://github.com/xxd763795151/kafka-exporter") 点击这个链接进入github仓库后，根据说明进行部署并配置启动后，然后在prometheus.yml再增加如下配置： ```yaml - job_name: 'kafka-exporter' metrics_path: /prometheus static_configs: - targets: ['kafka-expoter-host:9097'] labels: env: "test" ``` 上面的grafana配置里已经包含了消息积压的面板： ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b8b07e255c774661afb53017de725fed~tplv-k3u1fbpfcp-zoom-1.image) 如果后续有其它指标在jmx里提供，也可以继续补充kafka-exporter，刮取更多需要的metrics。 # 告警最新的配置代码会提交在这里： [https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_alert.yml](https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_alert.yml "https://github.com/xxd763795151/kafka-exporter/blob/main/kafka_alert.yml") 示例如下： ```yaml groups: - name: Kafka测试集群告警 rules: - alert: "kafka集群，出现脑裂" expr: sum(kafka_controller_kafkacontroller_activecontrollercount{env="test"}) by (env) > 1 for: 0m labels: severity: warning annotations: description: '激活状态的控制器数量为{{$value}}，集群可能出现脑裂' summary: '{{$labels.env}} 集群出现脑裂，请检查集群之前的网络' - alert: "kafka集群没有活跃的控制器" expr: sum(kafka_controller_kafkacontroller_activecontrollercount{env="test"}) by (env) < 1 for: 0m labels: severity: warning annotations: description: '激活状态的控制器数量为{{$value}}，没有活跃的控制器' summary: '{{$labels.env}} 集群没有活跃的控制器，集群可能无法正常管理' - alert: "kafka节点挂了" expr: count(kafka_server_replicamanager_leadercount{env="test"}) by (env) < 3 for: 0m labels: severity: warning annotations: description: '{{$labels.env}} 集群的节点挂了，当前可用节点：{{$value}}' summary: '{{$labels.env}} 集群的节点挂了' - alert: "kafka集群出现leader不在首选副本上的分区" expr: sum(kafka_controller_kafkacontroller_preferredreplicaimbalancecount{env="test"}) by (env) > 0 for: 1m labels: severity: warning annotations: description: '{{$labels.env}} 集群出现leader不在首选副本上的分区，数量：{{$value}}' summary: '{{$labels.env}} 集群出现leader不在首选副本上的分区，分区副本负载不均衡，考虑使用kafka-preferred-replica-election脚本校正' - alert: "kafka集群离线分区数量大于0" expr: sum(kafka_controller_kafkacontroller_offlinepartitionscount{env="test"}) by (env) > 0 for: 0m labels: severity: warning annotations: description: '{{$labels.env}} 集群离线分区数量大于0，数量：{{$value}}' summary: '{{$labels.env}} 集群离线分区数量大于0' - alert: "kafka集群未保持同步的分区数大于0" expr: sum(kafka_server_replicamanager_underreplicatedpartitions{env="test"}) by (env) > 0 for: 0m labels: severity: warning annotations: description: '{{$labels.env}} 集群未保持同步的分区数大于0，数量：{{$value}}' summary: '{{$labels.env}} 集群未保持同步的分区数大于0，可能丢失消息' - alert: "kafka节点所在主机的CPU使用率过高" expr: irate(process_cpu_seconds_total{env="test"}[5m])*100 > 50 for: 10s labels: severity: warning annotations: description: '{{$labels.env}} 集群CPU使用率过高，主机：{{$labels.instance}}，当前CPU使用率：{{$value}}' summary: '{{$labels.env}} 集群CPU使用率过高' - alert: "kafka节点YCG太频繁" expr: jvm_gc_collection_seconds_count{env="test", gc=~'.*Young.*'} - jvm_gc_collection_seconds_count{env="test", gc=~'.*Young.*'} offset 1m > 30 for: 0s labels: severity: warning annotations: description: '{{$labels.env}} 集群节点YCG太频繁，主机：{{$labels.instance}}，最近1分钟YGC次数：{{$value}}' summary: '{{$labels.env}} 集群节点YCG太频繁' - alert: "kafka集群消息积压告警" expr: sum(consumer_lag{env="test"}) by (groupId, topic, env) > 20000 for: 30s labels: severity: warning annotations: description: '{{$labels.env}} 集群出现消息积压，消费组：{{$labels.groupId}}，topic：{{$labels.topic}}，当前积压值：{{$value}}' summary: '{{$labels.env}} 集群出现消息积压' - alert: "kafka集群网络处理繁忙" expr: kafka_network_socketserver_networkprocessoravgidlepercent{env="test"} < 0.3 for: 0s labels: severity: warning annotations: description: '{{$labels.env}} 集群网络线程池不太空闲，可能网络处理压力太大，主机：{{$labels.instance}}，当前空闲值：{{$value}}' summary: '{{$labels.env}} 集群网络处理繁忙' - alert: "kafka集群IO处理繁忙" expr: kafka_server_kafkarequesthandlerpool_requesthandleravgidlepercent_total{env="test"} < 0.3 for: 0s labels: severity: warning annotations: description: '{{$labels.env}} 集群IO线程池不太空闲，可能处理压力太大，需要调整线程数，主机：{{$labels.instance}}，当前空闲值：{{$value}}' summary: '{{$labels.env}} 集群IO处理繁忙' ``` # 末语我从grafana 官方上搜索了几个dashboard，但指标实在太少。感谢从这篇博文里找到的grafana配置可以参考，提供了很多指标的面板，可以让我对着kafka官方监控jmx说明进行整理，让我在grafana面板的配置上，省了一半的功夫： [https://www.confluent.io/blog/monitor-kafka-clusters-with-prometheus-grafana-and-confluent/](https://www.confluent.io/blog/monitor-kafka-clusters-with-prometheus-grafana-and-confluent/ "https://www.confluent.io/blog/monitor-kafka-clusters-with-prometheus-grafana-and-confluent/")