消息队列 | 青训营笔记

40 阅读2分钟

这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天

消息队列

消息队列本质上是一个存储消息的队列,但是要求高并发,高吞吐和高可用

kakfa:分布式的,分区的,多副本的日志提交服务,在高吞吐场景下表现良好。

RockeMQ:低延迟,强一致,高性能,高可靠,万亿级容量和灵活的可扩展性,在一些实时性场景很适用

Pulsar:下一代云原生分布式消息流平台,集消息,存储,轻量化函数式计算为一体,采用存算分离的架构设计

BMQ:存算分离,承接高吞吐的离线业务场景,逐步替换掉对应的Kafka集群。

Kafka

topic:逻辑队列,不同topic可以建立不同的topic Cluster:物理集群,每个集群中可以建立不同的topic producer:生产者,负责将业务消息发送到topic中 consumer:消费者,负责消费topic中的消息 consumerGroup:消费者组,不同组consumer消费进度互不干涉 offset:消息在partition中的相对位置 Replica:每个分片有多个Replica,Leader Replica 将会从ISR选出

kafka原理

消息批量发送,batch 数据压缩,压缩算法,减少消息大小 顺序写提高效率 零拷贝提高效率

kAFKA问题

运维成本高;对于负载不均衡的场景,方案复杂;没有自己的缓存,完全依赖pagecache,controler和coordinator和broker在同一进程中,IO影响大

BMQ

Broker

image.png

写文件流程,可配置同步和异步,满足不同的CAP需求。

image.png

RocketMQ

事务支持

两阶段提交 image.png

延迟发送

相对于定时组件可实现相同的功能。消息发送失败后有消费重试,重试一定次数后仍失败进入死信队列。