最近在排查kafka数据flink解析入库情况时,发现一张表数据一直没有入库,排查flink日志报错
2023-01-10 10:50:15,235 INFO org.apache.kafka.clients.FetchSessionHandler [] - [Consumer #############, groupId=########] Error sending fetch request (sessionId=758460506, epoch=1) to node 17: {}.
上网查询后发现是网络波动导致的通讯问题,在flink-conf.yaml上增加以下配置
akka.ask.timeout: 100s
web.timeout: 100000
同时在flink job中配置
.setProperty("request.timeout.ms","600000")
.setProperty("fetch.max.wait.ms","600000")
问题解决,数据正常入库。