搭建大型分布式服务(十三)SpringBoot整合kafka

·  阅读 328

一、本文要点

接上文,我们已经把SpringBoot整合mybatis+Hikari+es+redis了,并且通过docker搭建好了kafka环境,本文将介绍SpringBoot如何整合kafka,利用MQ技术,做到削峰填谷,模块解耦。系列文章完整目录

  • kafkalistener 测试

  • 消息解耦

  • 消息分区时序性

  • springboot整合kafka

  • springboot + mybatis + Hikari + elasticsearch + redis + kafka

二、开发环境

  • jdk 1.8
  • maven 3.6.2
  • springboot 2.4.3
  • zookeeper 3.4.13
  • junit 5
  • kafka 2.12-2.3
  • idea 2020

三、修改pom.xml 增加依赖

        <!-- https://mvnrepository.com/artifact/org.springframework.kafka/spring-kafka -->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>

复制代码

三、修改配置文件

修改application-dev.properties文件,同理,后面发布到测试、正式环境的话,修改对应的配置文件。

#################### KAFKA ####################
spring.kafka.bootstrap-servers=127.0.0.1:9092
spring.kafka.consumer.group-id=kafka-single-demo-group
# earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
# latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
# none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常
spring.kafka.consumer.auto-offset-reset=latest
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.buffer-memory=524288
spring.kafka.listener.missing-topics-fatal=false
spring.kafka.template.default-topic=kafka-single-demo-topic


复制代码

五、增加常量类

1、增加Const.java。

public class Const {

    /**
     * redis key 前缀.
     */
    public static final String MMC_MEMBER_KEY_PREFIX = "mmc:member";

    /**
     * kafka topic.
     */
    public static final String KAFKA_SINGLE_DEMO_TOPIC = "kafka_single_demo_topic";
}

复制代码

2、编写KafkaSender.java,用来发送kafka消息。

@Slf4j
@Component
public class KafkaSender {

    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * 发送消息到kafka
     */
    public void sendMessage(String topic, String message) {
        log.info("sendMessage to kafka ,topic =[{}],message=[{}]", topic, message);
        kafkaTemplate.send(topic, message);
    }

    /**
     * 发送消息到kafka
     */
    public void sendMessage(String topic, String partionKey, String message) {
        log.info("sendMessage to kafka ,topic =[{}],partionKey=[{}],message=[{}]", topic, partionKey, message);
        kafkaTemplate.send(topic, partionKey, message);
    }

}
复制代码

3、编写KafkaReceiver.java,接收kafka消息。

@Slf4j
@Component
public class KafkaReceiver {


    @KafkaListener(id = "kafka-single-demo", topics = Const.KAFKA_SINGLE_DEMO_TOPIC)
    public void receiveMesage(ConsumerRecord<String, String> record) {

        if (null == record || StringUtils.isEmpty(record.value())) {

            log.warn("KafkaReceiver record is null or record.value is empty.");
            return;
        }

        String reqJson = record.value();
        log.info("KafkaReceiver {}", reqJson);


    }
}
复制代码

4、修改MemberService.java,使得每次修改会员消息的时候,会触发一条变更消息给下游系统.

@Slf4j
@Service
public class MemberService {

    @Resource
    private TblMemberInfoMapper tblMemberInfoMapper;

    @Resource
    private ElasticSearchConfig elasticSearchConfig;

    @Resource
    private RestHighLevelClient restHighLevelClient;

    @Resource(name = "esObjectMapper")
    private ObjectMapper objectMapper;
    
    @Resource
    private KafkaSender kafkaSender;

    // 但数据有更新的时候使缓存失效,这里是为了举例,缓存数据一致性问题先不考虑
    @CacheEvict(key = "#member.uid", cacheNames = {Const.MMC_MEMBER_KEY_PREFIX})
    public TblMemberInfo save(TblMemberInfo member) throws JsonProcessingException {

        tblMemberInfoMapper.upsert(member);

        // 发送消息给下游系统,做解耦
        // 使用memberId作为分区,保证一定的消息时序性
        kafkaSender.sendMessage(Const.KAFKA_SINGLE_DEMO_TOPIC,
                member.getUid() + "", objectMapper.writeValueAsString(member));
        
        return member;
    }
}
复制代码

六、运行一下

1、如果你已经参考前文《搭建大型分布式服务(十二)Docker搭建开发环境安装Kafka和zookeeper》 安装好了kafka,那么你会很简单就可以测试kafka的可用性。

@Slf4j
@ActiveProfiles("dev")
@ExtendWith(SpringExtension.class)
@SpringBootTest
class KafkaSenderTest {


    @Resource
    private KafkaSender kafkaSender;

    @Test
    void sendMessage() throws IOException {

        String json = "hello";

        for (int i = 0; i < 10; i++) {

            kafkaSender.sendMessage(Const.KAFKA_SINGLE_DEMO_TOPIC, json);

        }

        System.in.read();

    }

}

复制代码

2、我们似乎经常遇到一个问题,测试kafka相关的一些功能的时候,总需要启动外部的kafka-server服务器。但如果kafka-server和你开发机器不是同一个网络或者有网络隔离策略的时候,这时候你只能在本地启动你的zookeeper和kafka-server,非常麻烦。本文将介绍spring-kafka-test无需启动外部kafka-server,也能测试Kafka相关功能,例如测试@KafkaListener。

参考:《SpringBoot批量获取Kafka消息(二)》

3、批量消费怎样写呢? 参考:《SpringBoot批量获取Kafka消息(一)》

七、小结

这里只是简单介绍如何整合kafka,更加详细的用法请关注后续文章,完整代码地址:戳这里。下一篇《搭建大型分布式服务(十三)SpringBoot整合dubbo

加我一起交流学习!

分类:
后端
标签:
收藏成功!
已添加到「」, 点击更改