Springboot 快速集成 kafka

kafka实战专栏

Spring Boot 提供了对 Apache Kafka 的良好支持，使得与 Kafka 的集成变得相对简单。下面是如何使用 Spring Boot 快速启动并集成 Kafka 的一些基本步骤：

1. 创建 Spring Boot 项目

首先，你需要创建一个 Spring Boot 项目。可以使用 Spring Initializr 来快速生成一个项目：

• 选择 Maven 或 Gradle 作为构建工具。
• 添加依赖项：Spring for Apache Kafka 和 Spring Boot Starter.

2. 添加 Kafka 依赖

在你的 pom.xml (如果使用 Maven) 中添加 Kafka 的相关依赖：

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>3.1.8</version> <!-- 请根据需要选择合适的版本 -->
</dependency>

3. 配置 Kafka

在 application.properties 或 application.yml 中配置 Kafka 相关的属性。例如，在 application.properties 文件中：

spring.kafka.bootstrap-servers=localhost:9092
spring.kafka.consumer.group-id=my-group
spring.kafka.consumer.auto-offset-reset=earliest
spring.kafka.consumer.enable-auto-commit=true
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer

这些配置项包括 Kafka 的服务器地址、消费者组 ID、偏移量重置策略以及序列化器等。

4. 创建 Kafka 生产者

创建一个 Kafka 生产者服务：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.stereotype.Service;

@Service
public class KafkaProducerService {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    private final String topic = "my-topic";

    public void sendMessage(String message) {
        kafkaTemplate.send(topic, message);
    }
}

5. 创建 Kafka 消费者

创建一个 Kafka 消费者服务：

import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.stereotype.Service;

@Service
public class KafkaConsumerService {

    @KafkaListener(topics = "my-topic", groupId = "my-group")
    public void listen(String message) {
        System.out.println("Received message: " + message);
    }
}

6. 测试 Kafka 生产者和消费者

你可以在控制器中测试你的 Kafka 生产者服务：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class KafkaController {

    @Autowired
    private KafkaProducerService kafkaProducerService;

    @GetMapping("/send")
    public String sendMessage(@RequestParam("message") String message) {
        kafkaProducerService.sendMessage(message);
        return "Message sent to Kafka topic";
    }
}

7. 启动应用

启动你的 Spring Boot 应用程序，确保 Kafka 服务器正在运行，并且 Kafka 的配置是正确的。

8. 验证

使用浏览器或 Postman 访问 http://localhost:8080/send?message=HelloKafka，然后查看控制台输出或 Kafka 客户端工具来验证消息是否成功发送和接收。

这些步骤概述了如何快速启动和集成 Kafka 与 Spring Boot。你可以根据需要进一步配置和扩展功能，比如使用 Avro 序列化、处理异常、配置分区和副本等。