消息队列前世今生 | 青训营笔记

40 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 14 天

什么是消息队列

消息队列(MQ),指保存消息的一个容器,本质是个队列。但这个队列呢,需要支持 高吞吐,高并发,并且高可用

2.jpg

消息队列发展历程

  • TIB:诞生于1985年,服务于金融机构和新闻机构
  • IBM MQ/WebSphere:诞生于1993年,商业消息队列平台市场主要玩家
  • MSMQ:微软发布于1997年
  • JMS:诞生于2001年,本质上是一套Java API
  • AMQP/RabbitMQ:规范发布于2004年,同年RabbitMQ面市
  • Kafka:2010年由Linked开源
  • RocketMQ:2011年阿里中间件团队自研
  • Pulsar:2012年诞生于Yahoo内部

消息队列对比

  • Kafka:分布式的、分区的、多副本的日志提交服务,在高吞吐场景下发挥较为出色。1.高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。可扩展性:kafka集群支持热扩展。

    持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失。容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败)。高并发:支持数千个客户端同时读写

  • RocketMQ:低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性,在一些实时场景运用较广。消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。

  • Pulsar:是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计,支持多租户、持久化存储、跨区域复制、具有强一致性、高吞吐、低延迟及高可扩展性等流数据存储特性。

  • BMQ:和Pulsar架构类似,存算分离,初期定位是承接高吞吐的理想业务场景,逐步替换掉对应的Kafka集群