这是我参与「第五届青训营 」伴学笔记创作活动的第 7 天
此笔记的主要内容如下
- 消息队列发展历程
- 消息队列——Kafka
什么是消息队列？
消息队列MQ，指保存消息的一个容器，本质是个队列。但这个队列需要支持高吞吐，高并发，并且高可用
Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色 RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广 BMQ：存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
消息队列——Kafka
如何使用Kafka
创建Kafka集群 → 创建Topic → 编写生产者逻辑 → 编写消费者逻辑
基本概念
每个Topic有多个partition，每个parition有多个Replica，分为Leader和Follwer的角色。
Leader Replica负责对外进行写入或者读取，也就是从生产者过来的消息先写入Leader Replica，消费者也是从Leader Replica中进行消费
Follower Replica不断从Leader中把消息拉取下来，然后努力与Leader保持一致。
ISR（In-Sync Replicas）保证高可用。宕机后，Leader Replica将从ISR中选出。
Kafka架构
ZooKeeper：负责存储机群元信息，包括分区分配信息等
Producer
通过Batch批量发送，批量发送可以减少IO次数，从而加强发送能力。
通过压缩，减少消息大小，目前支持Snappy、Gzip、LZ4、ZSTD压缩算法
Broker
磁盘结构的移动磁头找到对应磁道，磁盘转动，找到对应扇区，最后写入。寻道成本比较高，因此顺序写可以减少寻道所带来的时间成本。
偏移量索引文件，二分找到小于目标offset的最大文件。
时间戳索引文件，二分找到小于目标时间戳最大的索引位置，再通过寻找offset的方式找到最终数据
Consumer
Kafka小结
Producer批量发送、数据压缩，Broker顺序写、消息索引、零拷贝，Consumer的Rebalance可以帮助Kafka提高吞吐或稳定性
