消息队列|青训营笔记

84 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第12天

案例描述

系统崩溃:

image.png

解决方案:解耦

image.png



服务能力有限:

image.png

解决方案:削峰

image.png



链路耗时长尾:

image.png 对于这个流程应该怎么优化来挽回这个暴躁的用户?

解决方案:异步

image.png



日志存储丢失:

解决方案

image.png

消息队列定义

消息队列(MQ),指保存消息的一个容器,本质是个队列。但这个队列呢,需要支持高吞吐,高并发,并且高可用。


业界消息队列对比

Kafka:
分布式的、分区的、多副本的日志提交服务,在高吞吐场景下发挥较为出色

RocketMQ:
低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性,在一些
实时场景中运用较广

Pulsar:
是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体、
采用存算分离的架构设计

BMQ:
和Pusa架构类似,存算分离,初期定位是承接高吞吐的离线业务场景,逐步
替换掉对应的Kafka集群

Kafka

使用场景

一般用于离线的消息处理(日志信息、用户行为、Metrice数据)

使用Kafka

创建集群
新增Topic
编写生产者逻辑
编写消费者逻辑

基本概念

image.png

Topic:逻辑队列,不同Topic可以建立不同的Tope
Cut:物理集群,每个集群中可以建立多个不同的TCpe
Producer:生产者,负责将业务消息发送到Topic中
Consumer:消员者。负责有要Tooc中的消息
ConsumerGroup:消费者里,不网组Consumer消费进度互不干涉



Offset:消息在partition内的相对位置信息,可以理解为唯一D,在partition内部严格递增.

image.png