训练营第五天课程的笔记。考虑系统崩溃、服务处理能力有限、链路耗时长尾、日志处理等问题场景。提出了对应的解决方案。了解了消息队列的前世今生、大致学习了Kafka。
消息队列（MQ），指保存消息的一个容器，本质是个队列，但需要支持高吞吐、高并发、并且高可用。
发展历程：
业界消息队列对比：
-
Kafka:分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
- 如何使用：创建集群、新增Topic、编写生产者逻辑、编写消费者逻辑
- Topic:逻辑队列，不同Topic可以建立不同的Topic
- Cluster:物理集群，每个集群中可以建立多个不同的Topic
- Producer:生产者，负责将业务消息发送到Topic中
- Consumer:消费者。负责消费Topic 中的消息.
- ConsumerGroup:消费者组。不同组Consumer消费进度互不干涉
- Offset :消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增。
- 每个分片有多个 Replica，Leader Replica将会从ISR中选出。
- 帮助Kafka提高吞吐或者稳定性的功能：Producer:批量发送、数据压缩；Broker:顺序写，消息索引，零拷贝；Consumer : Rebalance
-
RocketMQ:低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
-
Pulsar:是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
-
BMQ:和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
