群友问题-如何通过状态保存消费位置,可以实现ListCheckpointed接口

35 阅读1分钟

今天继续帮群友解答问题。

有个群友说 flinkjob 处理离线的数据,想将增量的 处理数据时间 存储在状态里面, 方便知道处理到哪个时间段的数据了。

7e6977bb3f6a33dedac42b37c439082.jpg

RichSourceFunction 继承了 AbstractRichFunction, AbstractRichFunction能拿到 runtimeContext,就能访问更新状态。

最后群友是 用 ListCheckpointed 也可以,ck的时候记录执行的时间戳,当增量处理数据异常后会调用 restoreState 恢复状态。

对于 要实现操作 OperatorState 的有状态函数,有两种实现方式:

  • 第一种是通过实现 CheckpointedFunction 接口
  • 第二种是通过实现 ListCheckpointed 接口,这个接口提供了 snapshotState,restoreState 方法,分别用来保存状态和恢复状态。