这是我参与「第五届青训营 」伴学笔记创作活动的第 12 天

今天主要的学习内容是消息队列，随着大数据时代的发展，消息处理能力也需要相应的提升

消息队列的发展历程

TIB：诞生于1985年，服务于金融机构和新闻机构
IBM MQ/WebSphere：诞生于1993年，商业消息队列平台市场主要玩家
MSMQ：微软发布于1997年
JMS：诞生于2001年本质上是一套java API
AMQP/RabbitMQ：规范发布于2004年，同年 RabbitMQ 面市
Kafka：2010年由Linked开源
ROcketMQ：2011年阿里中间件团队自研
Pulsar：2012年诞生于Yahoo内部

业界消息队列对比

Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
Rulsar：是下一代云原生分布式消息流平台，集消息，存储，轻量化函数式计算为一体、采用存算分离的架构设计
BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群

消息队列的好处

解耦合：耦合的状态表示当你实现某个功能的时候，是直接接入当前接口，而利用消息队列，可以将相应的消息发送到消息队列，这样的话，如果接口出了问题，将不会影响到当前的功能。
异步处理：异步处理替代了之前的同步处理，异步处理不需要让流程走完就返回结果，可以将消息发送到消息队列中，然后返回结果，剩下让其他业务处理接口从消息队列中拉取消费处理即可。
流量削峰：高流量的时候，使用消息队列作为中间件可以将流量的高峰保存在消息队列中，从而防止了系统的高请求，减轻服务器的请求处理压力。

Kafka是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。

kafka基本概念

Topic：逻辑队列，不同Topic可以建立不同的Topic
Cluster：物理集群，每个集群中可以建立多个不同的Topic
Producter：生产者，负责将业务消息发送到Topic中
Consumer：消费者，负责消费Topic中的消息
ConsumerGroup：消费者组，不同组Consumer消费者进度互不干涉
offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增
Replica：每个分片有多个Replica，Leader Replica 将会从ISR中选出

Kafka问题总结

1.运维成本高
2.对于负载不均衡的场景，解决方案复杂
3.没有自己的缓存，完全依赖page Cache
4.Controller 和 coordinator 和 Broker在同一进程中，大量IO会造成其性能下降