1.消息队列前世今生：

消息队列(MQ):指保存消息的一个容器，队列要支持高并发、高吞吐、高可用,类似于一个生产者-消费者模型

四个解决方案： 1.解耦 2. 削峰 3.异步 4.日志

业界消息队列对比：

Kafka:分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色

RocketMQ:低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广

fulsar:是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计

BMQ:和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群

2.Kafka

Kafka使用场景有：搜索、直播、订单、支付服务 用户行为：搜索、点赞、评论、收藏

Topic:逻辑队列，不同Topic可以建立不同的TopicCluster:物理集群，每个集群中可以建立多个不同的

TopicProducer:生产者，负责将业务消息发送到Topic中

Consumer:消费者，负责消费Topic中的消息

ConsumerGroup:消费者组，不同组Consumer消费进度互不干涉

Topic:逻辑队列，不同Topic可以建立不同的TopicCluster:物理集群，每个集群中可以建立多个不同的

TopicProducer:生产者，负责将业务消息发送到Topic中

Consumer:消费者，负责消费Topic中的消息

ConsumerGroup:消费者组，不同组Consumer消费进度互不干涉

Kafka的工作流程

生产者负责生产数据给消费者消费，不同topic是不同业务，每个topic里都有不同的partion分区，offset是partion里的相对偏移量，在partion里面严格递增。

Topic 是 Kafka 用来分类 Record 流的⽅式，每个 Record 包含⼀个键、⼀个值和⼀个时间戳。在 Kafka 中，⽣产者和消费者都是针对同⼀个Topic 进⾏操作的。Topic 在物理层⾯上分为多个Partition，每个 Partition 对应⼀个 log ⽂件，⽣产者的数据会顺序写⼊该 log ⽂件，并且每条数据都有⼀个唯⼀的 Offset 标识。消费者组中的每个消费者会跟踪⾃⼰消费了哪些 Offset 的数据，以便在发⽣故障时，能够从上次的位置继续消费。

每个Partion中有很多Replica，Replica有leader和follower,follower少于leader一定偏移量就会被踢出ISR同步组,靠近就会拉入ISR，如果leader当机就会在ISR中重新选leader，follower与leader保持数据同步

Producer将数据批量进行Batch处理，然后批量发送，减少IO次数，提高速度，如果宽带不够通过压缩算法补充

Broker:数据路径:/Topic/Partition/Segment/(log | index | timeindex l ...),通过在磁盘里面顺序写可以提高写入效率，顺序写，提高写入效率

Consumer向Broker发送fetch请求，Broker给consumer发送数据

ZooKeeper:负责存储集群元信息，包括分区分配信息等