flink作业webui逻辑图显示红色,可能并不是由于反压

309 阅读1分钟

背景

上线一个逻辑复杂使用了窗口的 flinkjob,部署后 webui逻辑图显示红色,怀疑反压导致异常。

检查步骤

  1. 切换到如下图的背压tab,主要是 Idle、Busy 百分比在30-80之间,但是 Backpressured 则是 0%,可能并没有背压,而是作业逻辑多导致 cpu运算负载大而已。

image.png

  1. 再检查一些反压的指标是否正常:监控反压文章
  2. 最后再看消费的kafka topic lag 没有积压则是正常的。

参考文章

流计算 Oceanus TaskManager 背压较高/严重事件-腾讯云