最近工作中一直在学习和使用flink,记录下开发中遇到的坑和一些优化措施
question1
kafka数据在消费,AggregateFunction也在运算,WindowFunction的却一直不出符运算,原因是extractTimestamp写的有问题(默认取event时间戳,初始化为0),测试的kafka的写数据方式有问题,有几个partition没有写入数据,导致flink的consumer source有几个的时间戳一直为0,一直不能触发WindowFunction的运算。
question2
基于yarn的flink程序每运行一段时间,savepoint会因为hdfs的datanode 为0导致保存数据失败,flink程序自动重启,后面查资料,说是hadoop集群新加入的机器没有执行format,后面format所有datanode机器,重启hadoop集群,问题解决。
question3
运行一段时间,taskmanager失去连接,这种情况很有可能是taskmanager内存不够用,假死了,扩大内存吧。。
后续想到再补充