这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天
消息队列
消息队列本质上是一个存储消息的队列,但是要求高并发,高吞吐和高可用
kakfa:分布式的,分区的,多副本的日志提交服务,在高吞吐场景下表现良好。
RockeMQ:低延迟,强一致,高性能,高可靠,万亿级容量和灵活的可扩展性,在一些实时性场景很适用
Pulsar:下一代云原生分布式消息流平台,集消息,存储,轻量化函数式计算为一体,采用存算分离的架构设计
BMQ:存算分离,承接高吞吐的离线业务场景,逐步替换掉对应的Kafka集群。
Kafka
topic:逻辑队列,不同topic可以建立不同的topic Cluster:物理集群,每个集群中可以建立不同的topic producer:生产者,负责将业务消息发送到topic中 consumer:消费者,负责消费topic中的消息 consumerGroup:消费者组,不同组consumer消费进度互不干涉 offset:消息在partition中的相对位置 Replica:每个分片有多个Replica,Leader Replica 将会从ISR选出
kafka原理
消息批量发送,batch 数据压缩,压缩算法,减少消息大小 顺序写提高效率 零拷贝提高效率
kAFKA问题
运维成本高;对于负载不均衡的场景,方案复杂;没有自己的缓存,完全依赖pagecache,controler和coordinator和broker在同一进程中,IO影响大
BMQ
Broker
写文件流程,可配置同步和异步,满足不同的CAP需求。
RocketMQ
事务支持
两阶段提交
延迟发送
相对于定时组件可实现相同的功能。消息发送失败后有消费重试,重试一定次数后仍失败进入死信队列。