消息队列 | 青训营笔记
这是我参与「第五届青训营」伴学笔记创作活动的第10天
前世今生
消息队列发展历程
TIB -> IBM MQ/WebSphere -> MSMQ -> JMS -> AMQP/RabbitMQ -> Kafka -> RocketMQ -> Pulsar
业界消息队列对比
Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用存算分离的架构设计
BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
Kafka
使用场景
- 日志信息
- Metrics数据
- 用户行为(搜索、点赞、评论、收藏)
如何使用
- 创建集群
- 新增Topic
- 编写生产者逻辑
- 编写消费者逻辑
基本概念
- Topic：逻辑队列
- Cluster：物理集群，每个集群中可以建立多个不同的Topic
- Partition：每个Topic通常有多个分片
- Producer：生产者，负责将业务消息发送到Topic中
- Consumer：消费者，负责消费Topic中的消息
- ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
- Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内严格递增
- Replica：每个分片有多个Replica，Leader Replica将会从ISR中选出
性能优化
- 批处理：生产者可以批量发送消息，以减少IO次数
- 数据压缩：通过压缩减少消息大小，目前支持Snappy，Gzip，LZ4，ZSTD压缩
- 零拷贝：减少数据在内核空间和用户空间的拷贝次数
BMQ
兼容Kafka协议，存算分离，云原生消息队列
RocketMQ
基本概念
| 名称 | Kafka | RocketMQ |
|---|---|---|
| 逻辑队列 | Topic | Topic |
| 消息体 | Message | Message |
| 标签 | 无 | Tag |
| 分区 | Partition | ConsumerQueue |
| 生产者 | Producer | Producer |
| 生产者集群 | 无 | Producer Group |
| 消费者 | Consumer | Consumer |
| 消费者集群 | Consumer Group | Consumer Group |
| 集群控制器 | Controller | Nameserver |
高级特性
- 事务消息
- 延迟发送
- 延迟消息
- 消费重试和死信队列
