这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天
消息队列
主要应用场景:存储系统崩溃、服务处理能力有限、链路耗时长、日志处理
微服务间通讯有同步和异步两种方式:
- 同步通讯:就像打电话,需要实时响应。
- 异步通讯:就像发邮件,不需要马上回复。
同步调用的优点:
- 时效性较强,可以立即得到结果
同步调用的问题:
- 耦合度高
- 性能和吞吐能力下降
- 有额外的资源消耗
- 有级联失败问题
异步调用则可以避免上述问题:
我们以购买商品为例,用户支付后需要调用订单服务完成订单状态修改,调用物流服务,从仓库分配响应的库存并准备发货。
在事件模式中,支付服务是事件发布者(publisher),在支付完成后只需要发布一个支付成功的事件(event),事件中带上订单id。
订单服务和物流服务是事件订阅者(Consumer),订阅支付成功的事件,监听到事件后完成自己业务即可。
为了解除事件发布者与订阅者之间的耦合,两者并不是直接通信,而是有一个中间人(Broker)。发布者发布事件到Broker,不关心谁来订阅事件。订阅者从Broker订阅事件,不关心谁发来的消息。
Broker 是一个像数据总线一样的东西,所有的服务要接收数据和发送数据都发到这个总线上,这个总线就像协议一样,让服务间的通讯变得标准和可控。
好处:
- 吞吐量提升:无需等待订阅者处理完成,响应更快速
- 故障隔离:服务没有直接调用,不存在级联失败问题
- 调用间没有阻塞,不会造成无效的资源占用
- 耦合度极低,每个服务都可以灵活插拔,可替换
- 流量削峰:不管发布事件的流量波动多大,都由Broker接收,订阅者可以按照自己的速度去处理事件
缺点:
- 架构复杂了,业务没有明显的流程线,不好管理
- 需要依赖于Broker的可靠、安全、性能
Kafka
使用场景主要在日志信息、Metrics 数据、用户行为上体现。
使用 Kafak 要首先创建集群,再新增对应的 Topic,编写生产者逻辑,编写消费者逻辑。 概念:
- Topic: 逻辑队列,不同队列可以建立不同 Topic
- Cluster: 物理集群,每个集群中可以建立多个不同的 Topic
- Producer: 生产者,负责将业务消息发送到 Topic 中
- Consumer: 消费者,负责消费 Topic 中的消息
- ConsumerGroup: 消费者组,不同组 Consumer 消费进度互不干涉
- Offset: 消息再 partition 内的相对位置信息,可以理解为唯一 ID,再 partition 内部严格递增
- Replica: 每个分片有多个 Replica,Leader Replica 将会从 ISR 中选出
BMQ
兼容 kafka 协议,存算分离,云原生消息队列