走进消息队列 | 青训营笔记

81 阅读2分钟

这是我参与「第三届青训营 -后端场」笔记创作活动的的第5篇笔记

消息队列概念:

消息队列(MQ),指保存消息的一个容器,本质是一个队列。但这个队列需要支持高吞吐,高并发,高可用。

前世今生

消息队列发展历程

image.png

业界消息队列对比

image.png

  • Kafka,分布式的、分区的、多副本的日志提交服务,在高吞吐场景下发挥较为出色

  • RocketMQ,低延迟、强一致性、高性能、高可靠、万亿级容量和灵活的扩展性,在一些实时场景中应用较广

  • Pulsar,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计

  • BMQ,和Plusar架构类似,存算分离,初期定位是承接高吞吐的离线业务场景,逐步替换掉对应的kafka集群

消息队列-kafka

使用场景

搜索服务,直播服务,订单服务,支付服务,用户行为

如何使用

image.png

第一步:首先需要创建一个Kka集群,但如果你是在字节工作,恭喜你这一步消息团队的小伙伴已经帮你完成了

第二步:需要在这个集群中创建一个Topic,并且设置好分片数量

第三步:引入对应语言的SDK,配置好集群和Topics等参数,初始化一个生产者,调用Send方法,将你的Hello World发送出去

第四步:引入对应语言的SDK,配置好集群和Topics等参数,初始化一个消费者,调用Pol方法,你将收到你刚刚发送的Hello World

基本概念

Topic:逻辑队列,不同Topic可以建立不同的Topic

Cluster:物理集群,每个集群种可以建立多个不同的Topic

Producer:生产,负责将业务消息发送到Topic种

Consumer:消费者,负责消费Topic中的消息

ConsumerGroup:消费者组,不同组Consumer消费进度互不干涉