这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天
消息队列的前世今生
什么是消息队列
消息队列（MQ）：指保存消息的一个容器，本质是个队列。但这个队列需要支持高吞吐，高并发，并且高可用。
消息队列发展历程
- TIB 1985年诞生，服务于金融机构和新闻机构
- IBM MQ/WebSphere 1993年诞生，商业消息队列平台市场主要玩家
- MSMQ 1997年微软发布
- JMS 2001年诞生，本质上是一套Java API
- AMQP/RabbitMQ 2004年规范发布，同年RabbitMQ面市
- Kafka 2010年由Linked开源
- RocketMQ 2011年案例中间件团队自研
- Pulsar 2012年诞生于Yahoo内部
业界消息队列对比
消息队列-Kafka
使用场景
主要使用场景有：
- 搜索服务
- 直播服务
- 订单服务
- 支付服务
如何使用Kafka
- 创建集群
- 新增Topic
- 编写生产者逻辑
- 编写消费者逻辑
Kafka基本概念
Topic是逻辑队列，不同的Topic可以建立不同的Topic
Cluster：集群是分布式概念中的一组计算机。物理集群，每个集群中可以建立多个不同的Topic
Producer：生产商，负责将业务消息发送到Topic中
Consumer：消费者，负责消息Topic中的消息
ConsumerGroup：消费者组，不同组Consumer消息进度互不干涉。
Offset
消息在partition中的相对位置信息，可以理解为唯一ID，在partition中内部严格递增。
Replica
每个分片有多个Replica，Leader Replica将会从ISR中选出。
数据复制
Kafka架构
一条消息的自述
Producer---生产--->Broker---消费--->Consumer 从一条消息的视角，看看为什么Kafka能支撑这么高的吞吐量。
Producer-批量发送
批量发送可以减少IO次数，从而加强发送能力。
Producer-数据压缩
通过压缩，减少消息大小，目前支持Snappy、Gzip、LZ4、ZSTD压缩算法。
Producer-数据的存储
Broker消息文件结构
Broker磁盘结构
移动磁头找到对应磁道，磁盘转动，找到对应扇区，最后写入。寻道成本比较高，因此顺序写可以减少寻道所带来的时间成本。
Broker-顺序写
Broker-如何找到消息
Consumer 通过发送FetchRequest请求消息数据，Broker会将指定Offset处的消息，按照时间窗口和消息大小窗口发送给Consumer，寻找数据这个细节是如何做到的呢？
Broker-偏移量索引文件
目标：寻找offset=28
Broker-时间戳索引文件
二分找到小于目标时间戳最大的索引位置，在通过寻找offset的方式找到最终数据。
Broker-传统数据拷贝
Broker-零拷贝
Consumer-消息的接收端
Consumer—Low Level
通过手动进行分配，哪一个Consumer消费哪一个Partition完全由业务来决定。
Consumer-High Level
Consumer Rebalance
Producer：批量发送、数据压缩
Broker：顺序写、消息索引、零拷贝
Consumer：Rebalance
