flink kafka参数设置

242 阅读1分钟
        FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<String>("test", new SimpleStringSchema(), prop);
//        consumer.setCommitOffsetsOnCheckpoints(true);
//        consumer.setStartFromTimestamp(1609233480000L);
//        consumer.setStartFromEarliest(); //从最早的记录开始消费
//        consumer.setStartFromLatest(); //从最新记录开始消费
//        consumer.setStartFromTimestamp(1613543880000l); //从指定的epoch时间戳(毫秒)开始消费

        consumer.setStartFromGroupOffsets(); //默认行为,从上次消费的偏移量进行继续消费
        HashMap<KafkaTopicPartition, Long> specificStartOffsets = new HashMap<>();
        specificStartOffsets.put(new KafkaTopicPartition("myTopic", 0), 23L); // 第一个分区从23L开始
        specificStartOffsets.put(new KafkaTopicPartition("myTopic", 1), 31L); // 第二个分区从31L开始
        specificStartOffsets.put(new KafkaTopicPartition("myTopic", 2), 43L); // 第三个分区从43L开始
        consumer.setStartFromSpecificOffsets(specificStartOffsets);  //从指定分区消费数据


        consumer.setCommitOffsetsOnCheckpoints(true); //将flink消费kafka的offset到kafka _consumer_offset topic中