剑语

没有日志打印到 console，结果无法判断是否启动完成，以为项目有问题： 后面重新编译后，报 mapper的问题 Invalid bound statement。

今天继续帮群友解答问题。 有个群友说 flinkjob 处理离线的数据，想将增量的 处理数据时间 存储在状态里面， 方便知道处理到哪个时间段的数据了。

背景 上线一个逻辑复杂使用了窗口的 flinkjob，部署后 webui逻辑图显示红色，怀疑反压导致异常。

Oracle实现存储过程并使用定时任务调度，业务上A表需要一直提供服务，所以在存储过程中将数据写入A-backup表，然后通过rename操作，将A-backup表转为A表提供数据；

其中各字段含义分别为记录id，车牌号，抓拍卡口，抓拍时间。现在需要筛选出所有车辆最后出现的一条记录，得到每辆车最后经过的抓拍点信息，也就是要将其他日期的数据过滤掉，我们可以使用选择去重。下面分别展示通过 dataframe 和 rdd 如果实现。 通过 explain 打印 d…