这是我参与「第三届青训营 -后端场」笔记创作活动的第5篇笔记
消息队列 Message Queue
消息队列（MQ），是指保存消息的一个容器，本质是个队列，但需要支持高并发，高吞吐，并且高可用。
业界消息队列对比
Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
RocketMQ：低延迟、强一致性、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
消息队列——Kafka
如何使用Kafka流程
创建集群、新增TOPIC、编写生产者逻辑、编写消费者逻辑
基本概念
- Topic：逻辑队列，不同Topic可以建立不同的Topic
- Cluster：物理集群，每个集群中可以建立多个不同的Topic
- Producer：生产者，负责将业务消息发送到Topic中
- Consumer：消费者，负责消费Topic中的消息
- ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
- Partition：通常topic会有多个分片，不同分片直接消息是可以并发来处理的，这样提高单个Topic的吞吐
- Offset : 消息在 partition 内的相对位置信息，可以理解为唯一ID，在 partition 内部严格递增。
- Replica：分片的副本，分布在不同的机器上，可用来容灾
- ISR：意思是同步中的副本
Kafka——问题总结
- 运维成本高
- 对于负载不均衡的场景，解决方案复杂
- 没有自己的缓存，完全依赖Page Cache
- Controller 和 Coordinatory以及Broker在同一进程中，大量IO会造成其性能下降
