这是我参与「第五届青训营 」伴学笔记创作活动的第 13 天
本堂课主要内容是消息队列，下面是我个人听课时的一些笔记。
个人笔记
-
消息队列的作用：
- 解耦
- 削峰
- 异步
- 日志处理
-
什么是消息队列？
消息队列(MQ)指保存消息的一个容器，本质是个队列。
但这个队列，需要支持高吞吐，高并发，并且高可用。
-
业界常见的消息队列：
Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色 RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广 Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用存算分离的架构设计 BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
Kafka
-
如何使用Kafka
创建集群→新增Topic→编写生产者逻辑→编写消费者逻辑
-
基本概念：
Topic：逻辑队列，不同Topic可以建立不同的Topic
Cluster：物理集群，每个集群中可以建立多个不同的Topic
Producer：生产者，负责将业务消总发送到Topic中
Consumer：消费者，负责消费Topic中的消息
ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
Partition【分片】：通常topic会有多个分片，不同分片之间消息是可以并发来处理的，这样提高单个Topic的吞吐
Offset：消息在partition内的相对位置信息，可以理解为唯一ID,在partition内部严格递增。
Replica：分片的副本，分布在不同的机器上，可用来容灾，Leader对外服务 ，Follower异步去拉取leader的数据进行一个同步，如果Leader挂掉了，可以将Follower提升成Leader再对外进行服务；每个分片有多个Replica，Leader Replica将会从ISR（In-Sync Replicas）中选出
ISR：意思是同步中的副本，对于Follower来说， 始终和leader是有一定差距的，但只有当这个差距比较小的时候，我们才可以将这个follower副本加入到ISR中，不在ISR中的副本是不允许提升成Leader的
-
Kafka中副本分布：
整个集群，包含了4个Broker机器节点，集群有两个Topic，分别是Topic1和Topic2, Topic1有两个分片， Topic2有1个分片，每个分片都是三副本的状态。
这里中间有一个Broker同时也扮演 了Controller的角色，Controller是整个集群的大脑，负责对副本和Broker进行分配。
-
Kafka整体架构：
在集群的基础上，还有一个模块是ZooKeeper, 这个模块存储了集群的元数据信息，比如副本的分配信息等等，Controller计算好的方案都会放到这个地方
参考
- 字节内部课 —【走进消息队列】
