消息队列-kafka | 豆包MarsCode AI刷题

滴哒嘀嗒
48 阅读5分钟

Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流式应用程序。它具有以下优点：

  1. 高吞吐量和低延迟：Kafka 能够处理每秒数百万条消息，具有极低的延迟，非常适合处理大量实时数据。
  2. 可伸缩性：Kafka 的设计理念是通过分布式架构实现高度的可伸缩性，可以轻松扩展到成千上万的生产者和消费者。
  3. 持久性和可靠性：Kafka 将所有的消息持久化存储在磁盘上，确保数据不会丢失。它采用多副本机制，使得数据可以在集群中的多个节点间进行复制，提供故障容忍和高可用性。
  4. 容错性：Kafka 具备高度的容错性，即使在节点故障的情况下仍能保持数据的可靠传输。
  5. 多语言支持：Kafka 提供了丰富的客户端 API，支持多种编程语言，如 Java、Python、Go 和 Scala 等。
  6. 异步处理：Kafka 支持异步处理模式，允许生产者和消费者之间以异步方式进行通信，提高处理效率。
  7. 流量削峰：Kafka 可以作为流量削峰的工具，通过缓冲大量实时数据，防止后端系统过载。

Kafka 的实现基于几个关键组件：

  • Producer：负责发布消息到 Kafka 主题。
  • Consumer：从 Kafka 主题中读取消息。
  • Broker：Kafka 服务器，负责维护主题和分区，存储消息数据。
  • Topic：Kafka 中的消息类别，可以被划分为多个分区。
  • Partition：主题中的一个数据块，可以提高并发性和数据分布。
  • Offset：消息在分区中的偏移量，用于维护消费状态。

创建 Kafka 生产者


public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        KafkaProducer<String, String> producer = new KafkaProducer<>(props);
        
        try {
            for (int i = 0; i < 10; i++) {
                ProducerRecord<String, String> record = new ProducerRecord<>("test-topic", Integer.toString(i), "Message #" + i);
                producer.send(record);
            }
        } finally {
            producer.close();
        }
    }
}

 创建 Kafka 消费者


public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("test-topic"));

        try {
            while (true) {
                consumer.poll(100).forEach(record -> {
                    System.out.printf("Offset = %d, Key = %s, Value = %s%n", record.offset(), record.key(), record.value());
                });
            }
        } finally {
            consumer.close();
        }
    }
}
  • Kafka 服务器地址：确保 BOOTSTRAP_SERVERS_CONFIG 配置指向你的 Kafka 服务器地址。
  • 主题：在生产者和消费者示例中，我们使用了 "test-topic" 作为 Kafka 主题。确保这个主题在你的 Kafka 服务器上已经创建。
  • 序列化和反序列化：在生产者和消费者中，我们使用了 StringSerializer 和 StringDeserializer。如果你的消息不是字符串类型，你需要使用适当的序列化器和反序列化器。
  • 错误处理：在生产环境中，你应该添加适当的错误处理逻辑来处理可能的异常情况。

kafka的特性

Kafka 是一个分布式流处理平台，它通过多种机制来保证消息的可靠性和一致性：

  1. 消息的可靠性和一致性：Kafka 通过分区副本机制（Replica）和生产者端的确认机制（ACKs）来确保消息的一致性。每个分区有一个 Leader 副本和多个 Follower 副本，确保当主副本失效时，仍能读取到一致的数据。生产者写入消息到Kafka时，会等待消息被持久化并复制到ISR中的副本，并返回一个确认（ack）给生产者。只有当所有ISR中的副本都完成了消息的复制后，消息才被认为是提交成功的，生产者才会收到确认。
  2. 分区和副本的区别：Kafka 中的分区（Partition）是主题（Topic）的一部分，用于并行处理和存储消息。每个分区在物理上是一个有序的、不可变的日志。副本（Replica）则是分区的冗余存储，用于提高数据的可靠性和容错性。每个分区可以有多个副本，其中一个是 Leader 副本，负责处理所有的读写操作，其他是 Follower 副本，负责同步 Leader 的数据。
  3. 消息的顺序性：Kafka 通过分区机制在服务端保证消息在分区内的顺序性。每个分区是一个有序的日志文件，Kafka 的设计确保了分区内的消息按照写入顺序存储，而消费者也按照相同顺序读取。
  4. 消费者工作原理：Kafka 的消费者通过定期调用 poll 方法从集群中获取消息。消费者组内的多个消费者协同工作，它们共同消费 Kafka 主题中的分区数据。组内的多个消费者不会消费同一个分区的数据，这样可以确保数据不会被重复消费。每个消费者负责消费特定分区的数据，从而实现了数据的并行处理，提高了消费效率。
  5. 处理消息的重复消费问题：Kafka 避免消息重复消费通常依赖于以下策略和机制：使用消费者组、幂等生产者、事务性生产者与消费者、手动提交偏移量、外部存储管理偏移量、去重逻辑及幂等消息处理逻辑。每种方法均有其优缺点，可根据实际需求选择合适方案。结合消费者组、手动提交偏移量和幂等处理逻辑通常是有效策略，而对于高一致性要求，则可考虑使用事务性消息。
avatar
文章
阅读
粉丝