消息队列 | 青训营笔记

61 阅读3分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天

消息队列

主要应用场景:存储系统崩溃、服务处理能力有限、链路耗时长、日志处理

微服务间通讯有同步和异步两种方式:

  1. 同步通讯:就像打电话,需要实时响应。
  2. 异步通讯:就像发邮件,不需要马上回复。

同步调用的优点:

  • 时效性较强,可以立即得到结果

同步调用的问题:

  • 耦合度高
  • 性能和吞吐能力下降
  • 有额外的资源消耗
  • 有级联失败问题

异步调用则可以避免上述问题:

我们以购买商品为例,用户支付后需要调用订单服务完成订单状态修改,调用物流服务,从仓库分配响应的库存并准备发货。

在事件模式中,支付服务是事件发布者(publisher),在支付完成后只需要发布一个支付成功的事件(event),事件中带上订单id。

订单服务和物流服务是事件订阅者(Consumer),订阅支付成功的事件,监听到事件后完成自己业务即可。

为了解除事件发布者与订阅者之间的耦合,两者并不是直接通信,而是有一个中间人(Broker)。发布者发布事件到Broker,不关心谁来订阅事件。订阅者从Broker订阅事件,不关心谁发来的消息。

Broker 是一个像数据总线一样的东西,所有的服务要接收数据和发送数据都发到这个总线上,这个总线就像协议一样,让服务间的通讯变得标准和可控。

好处:

  • 吞吐量提升:无需等待订阅者处理完成,响应更快速
  • 故障隔离:服务没有直接调用,不存在级联失败问题
  • 调用间没有阻塞,不会造成无效的资源占用
  • 耦合度极低,每个服务都可以灵活插拔,可替换
  • 流量削峰:不管发布事件的流量波动多大,都由Broker接收,订阅者可以按照自己的速度去处理事件

缺点:

  • 架构复杂了,业务没有明显的流程线,不好管理
  • 需要依赖于Broker的可靠、安全、性能

Kafka

使用场景主要在日志信息、Metrics 数据、用户行为上体现。

使用 Kafak 要首先创建集群,再新增对应的 Topic,编写生产者逻辑,编写消费者逻辑。 概念:

  1. Topic: 逻辑队列,不同队列可以建立不同 Topic
  2. Cluster: 物理集群,每个集群中可以建立多个不同的 Topic
  3. Producer: 生产者,负责将业务消息发送到 Topic 中
  4. Consumer: 消费者,负责消费 Topic 中的消息
  5. ConsumerGroup: 消费者组,不同组 Consumer 消费进度互不干涉
  6. Offset: 消息再 partition 内的相对位置信息,可以理解为唯一 ID,再 partition 内部严格递增
  7. Replica: 每个分片有多个 Replica,Leader Replica 将会从 ISR 中选出

BMQ

兼容 kafka 协议,存算分离,云原生消息队列