消息队列原理与实战| 青训营笔记

146 阅读2分钟

消息队列原理与实战| 青训营笔记

这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天

一、本堂课重点内容:

  1. 消息队列-Kafka
  2. 消息队列-BMQ
  3. 消息队列-RocketMQ

二、详细知识点介绍:

消息队列定义

消息队列(MQ),指保存消息的一个容器,本质是个队列。但这个队列呢,需要支持高吞吐,高并发,并且高可用。

发展历程

  1. TIB:诞生于1985年,服务于金融机构和新闻机构
  2. IBM MQ/webSphere:诞生于1993年,商业消息队列平台市场主要玩家
  3. MSMQ:微软发布于1997年
  4. JMS:诞生于2001年本质上足-套JavaAPI
  5. AMQP/RabbitMQ:规范发布于2004,同年RabbitMQ面市
  6. Kafka:2010年由Linked开源
  7. RocketMQ:2011年阿里中间件团队自研
  8. Pulsar:2012年诞生于Yahoo内部

对比

  • Kafka:分布式的、分区的、多副本的日志提交服务,在高吞吐场景下发挥较为出色
  • RocketMQ:低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性,在一些实时场景中运用较广
  • Pulsar:是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
  • BMQ:和Pulsar架构类似,存算分离,初期定位是承接高吞吐的离线业务场景,逐步替换掉对应的Kafka集群

消息队列-Kafka

  • 运维成本高
  • 对于负载不均衡的场景,解决方案复杂
  • 没有自己的缓存,完全依赖Page Cache
  • Controller 和Coordinator和Broker在同一进程中,大量IO会造成其性能下降

消息队列-BMQ

  • BMQ的架构模型(解决Kafka存在的问题)
  • BMQ读写流程(Failover 机制,写入状态机)
  • BMQ高级特性(泳道、Databus、Mirror、Index、Parquet)

消息队列-RocketMQ

  • RocketMQ的基本概念(Queue,Tag)
  • RocketMQ的底层原理(架构模型、存储模型)
  • RocketMQ的高级特性(事务消息、重试和死信队列,延迟队列)

三、课后总结:

  • 碍于时间篇幅,本篇笔记还待后续完善

四、引用参考:

bytedance.feishu.cn/file/boxcno…