这是我参与「第五届青训营 」笔记创作活动的第13天

重点内容

1. 前言
2. 前世今生
3. Kafka
4. BMQ
5. RocketMQ

知识点介绍

前言

案例一 系统崩溃

搜索直播间 -> 搜索行为记录 -> 点击商品 -> 点击行为记录

| |

--> 记录存储 <--

当记录存储程序所在机房被删库跑路时系统会崩溃，如何解决？

• 解决方案

使用消息队列解耦，生产消费模型

搜索直播间 -> 搜索行为记录 -> 点击商品 -> 点击行为记录

| |

--> 消息队列 <--

|

记录存储

案例二 服务能力有限

面对庞大的请求量，订单服务如何抗住？

• 解决方案

使用消息队列削峰，每次只拉去适量请求进行处理

案例三 链路耗时长尾

怎么优化才能挽回暴躁用户？

• 解决方案

使用消息队列+异步处理

案例四 日志存储

本地日志故障如何解决？

• 解决方案

Log ->消息队列 ->LogStash ->ES ->Kibana

前世今生

定义

消息队列（MQ），指保存消息的一个容器，本质是一个队列。但这个队列呢，需要支持高并发、高吞吐、并且高可用

消息队列发展历程

• TIB 诞生于1985年，服务于金融机构和新闻机构
• IBM MQ/WebSphere 诞生于1993年，商业消息队列平台市场主要玩家
• MSMQ 1997年
• JMS 诞生于2001年，本质上是一套JavaAPI
• AMQP/RaabbitMQ 规范发布于2004年，同年RabbitMQ面世
• Kafaka 2010年由Linked开源
• RocketMQ 2011年由阿里中间件自研
• Pulsar 2012年诞生于Yahoo内部

常见消息队列对比

• Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐量场景下发挥较为出色
• RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可拓展性，在一些实时场景中运用较广
• Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
• BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐量的离线业务场景，逐步替换掉对应的Kafka集群

Kafka

使用场景

各种服务（搜索服务、直播服务、订单服务等等）发送至kafka再处理，日志信息、Metrics数据、用户行为可以交由kafka收集。

如何使用

创建集群 -> 新增Topic -> 编写生产者逻辑 -> 编写消费者逻辑

基本概念

• Topic：逻辑队列，不同Topic可以建立不同的Topic
• Cluster：物理集群，每个集群中可以建立多个不同的Topic
• Producer：生产者，负责将业务消息发送到Topic中
• Consumer：消费者，负责消费Topic中的消息
• ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉

Offset

Offset：消息再partition内的相对位置信息，可以理解为唯一ID，再partition内部严格递增

Replica

每个分片有多个Replica，Leader Replica 将会从ISR中选出

如何提高吞吐或稳定性的功能

• Producer：批量发送、数据压缩
• Broker：顺序写，消息索引，零拷贝
• Consumer：Rebalance

问题总结

1. 运维成本高
2. 对于负载不均衡的场景，解决方案复杂
3. 没有自己的缓存，完全依赖PageCache
4. Controller 和 Coordinator 和Broker在同一进程中，大量IO会造成性能下降

BMQ 简介

兼容Kafka协议，存算分离，云原生消息队列

基本概念

• Message 消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。

• Publisher 消息的生产者，也是一个向交换器发布消息的客户端应用程序。

• Exchange 交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
• 4Binding 绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。也就是交换机需要和队列相绑定，是多对多的关系。
• Queue 消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
• Connection 网络连接，比如一个TCP连接。
• Channel信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内地虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
• Consumer 消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
• Virtual Host 虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
• Broker 表示消息队列服务器实体。

RocketMQ

特点

• 支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型
• 在一个队列中可靠的先进先出（FIFO）和严格的顺序传递
• 支持拉（pull）和推（push）两种消息模式
• 单一队列百万消息的堆积能力
• 支持多种消息协议，如 JMS、MQTT 等
• 分布式高可用的部署架构,满足至少一次消息传递语义
• 提供 docker 镜像用于隔离测试和云集群部署
• 提供配置、指标和监控等功能丰富的Dashboard