Flink Kafka Consumer 详解

85 阅读1分钟

Offset

Checkpoint 禁用

依赖于 Kafka 客户端提交机制。

Properties properties = new Properties();
properties.setProperty("bootstrap.servers", prop.getProperty("bootstrap.servers"));
properties.setProperty("group.id", prop.getProperty("group.id"));
properties.setProperty("auto.offset.reset", prop.getProperty("auto.offset.reset"));
properties.setProperty("enable.auto.commit", prop.getProperty("enable.auto.commit"));
properties.setProperty("auto.commit.interval.ms", prop.getProperty("auto.commit.interval.ms"));

Checkpoint 启用

偏移量由 Flink 在 State 中管理,如果需要提交到 Kafka,则需要setCommitOffsetsOnCheckpoints(True), 当 Checkpoint 完成时会提交偏移量信息到 Kafka