这是我参与「第五届青训营 」伴学笔记创作活动的第 15 天
内容源于青训营课堂视频以及一些文档，若有错误欢迎及时指出
- 系统崩溃
- 服务处理能力有限
- 链路耗时长尾
- 日志如何处理
什么是消息队列
消息队列（MQ）是指保存消息的一个容器，本质是一个队列，但这个队列需要支持高吞吐、高并发、并且高可用
1 前生今世
业界消息队列对比
- Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
- RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
- Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
- BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
2 Kafka
使用场景
- 搜索服务
- 直播服务
- 订单服务
- 支付服务
- 日志信息
- metrics数据
- 用户行为
如何使用
创建集群-新增Topic-编写生产者逻辑-编写消费者逻辑
基本概念
- Topic：逻辑队列，不同Topic可以建立不同的Topic
- Cluster：物理集群，每个集群中可以建立多个不同的Topic
- Producer：生产者，负责将业务消息发送到Topic中
- Consumer：消费者，负责消费Topic中的消息
- ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
- Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增
- Replica：每个分片有多个Replica，Leader Replica将会从ISR中选出。
架构
在集群的基础上，还有一个ZooKeeper模块，这个模块存储了集群的元数据信息，如副本的分配信息、Controller计算好的方案等等
提高kafka吞吐或稳定性的功能
-
Producer：批量发送、数据压缩
-
Broker：顺序写，消息索引，零拷贝
-
Consumer：Rebalance
问题
- 运维成本高
- 对于负载不均衡的场景，解决方案复杂
- 没有自己的缓存，完全依赖Page Cache
- Controller和Coordinator和Broker在同一进程中，大量IO会造成其性能下降
3 BMQ
简介
兼容kafka协议，存算分离，云原生消息队列
- BMQ的架构模型(解决Kafka存在的问题)
- BMQ读写流程（Failover机制，写入状态机)
- BMQ高级特性(泳道、Databus、Mirror、Index、Parquet)
4 RocketMQ
使用场景
针对电商业务线，涉及业务峰值时刻
- RocketMQ的基本概念(Queue，Tag)
- RocketMQ的底层原理(架构模型、存储模型)
- RocketMQ的高级特性（事务消息、重试和死信队列，延迟队列)
