[ go学习day13 | 青训营笔记]

65 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 13天

什么是消息队列?

消息队列(MQ),指保存消息的一个容器,本质是个队列。但这个队列呢,需要支持高吞吐,高并发,并且高可用。

01.消息队列发展历程

诞生于 规范发布于 2004年, 1985年, 服务于金融 微软发 2011年阿里 同年 机构和新闻 布于 RabbitMQ 中间件团队 机构 自研 1997年 面市 AMQP/RabbitMQ TIB IBM MQ/WebSphere MSMQ JMS RockotMQ Pulsar Kafka 2012年诞 退生于 谣生于 2010年由 生于Yahoo Linked开源 1993年, 2001年 内部 商业消息队 本质上 列平台市场 是一套 主要玩家 Java API

常见消息对列

Kafka:分布式的、分区的、多副本的日志提交服务,在高吞吐场景下发挥较为出色 RocketMQ:低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性,在一些 实时场景中运用较广 Pulsar:是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体、 采用存算分离的架构设计 BMQ:和Pulsar架构类似,存算分离,初期定位是承接高吞吐的离线业务场景,逐步 替换掉对应的Kafka集群

kafka

Toplo:逻辑队列,不同Topic可以建立不同的Topic Ciuster:物理集群,每个集群中可以建立多个不同的Topic Producer:生产者,负责将业务消息发送到Toplc 中 Consumer:消费者,负责消费Topic 中的消息 ConsumerGroup:消费者组,不同组Consumer消费进度互不干涉

2.Kafka-问题总结

1.运维成本高 2.对于负载不均衡的场景,解决方案复杂 3.没有自己的缓存,完全依赖 Page Cache 4.Controller 和 Coordinator和Broker 在同一进程中,大量 lO会造成其性能下降

课程总结

前世今生:消息队列发展历程 Kafka:基本概念、架构设计、底层原理、架构缺点 BMQ:架构设计、底层原理、Kafka 比较、高级特性 RocketMQ:架构设计、底层原理、高级特性