这是我参与「第五届青训营」伴学笔记创作活动的第14天。
一、前言
四个场景，如何解决？
- 系统崩溃
- 服务处理能力有限
- 链路耗时长尾
- 日志如何处理
解决方案：
- 解耦
- 削峰
- 异步
什么是消息队列？
消息队列（MQ），指保存消息的一个容器，本质是个队列，但这个队列，需要支持高吞吐，高并发，并且高可用。
二、前世今生
发展历程
TIB：诞生于1985年，服务于金融机构和新闻机构
IBM MQ/WebSphere：诞生于1993年，商业消息队列平台市场主要玩家
MSMQ：微软发布于1997年
JMS：诞生于2001年，本质上是一套Java API
AMQP/RabbitMQ：规范发布于2004年，同年，RabbitMQ面市
Kafka：2010年由Linked开源
RocketMQ：2011年阿里中间件团队自研
Pulsar：2012年诞生于Yahoo内部
业内消息队列对比
Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色 RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广 Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计 BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
三、消息队列Kafka
使用场景
搜索服务、直播服务、订单服务、支付服务
日志信息、Metrics数据、用户行为
如何使用Kafka
- 创建集群
- 新增Topic
- 编写生产者逻辑
- 编写消费者逻辑
基本概念
Topic：逻辑队列，不同Topic可以建立不同的Topic
Cluster：物理集群，每个集群中可以建立多个不同的Topic
Producer：生产者，负责将业务消息发送到Topic中
Consumer：消费者，负责消费Topic中的消息
ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增
Replica：每个分片有多个Replica，Leader Replica将会从ISR中选出
数据复制
Kafka架构
Producer：批量发送、数据压缩
Broker：数据存储、消息文件结构、磁盘结构、顺序写、偏移量索引文件、时间戳索引文件、传统数据拷贝、零拷贝
Consumer：消息的接收端、Low Level、High Level、Rebalance
问题
- 运维成本高
- 对于负载不均衡的场景，解决方案复杂
- 没有自己的缓存，完全依赖Page Cache
- Controller和Coordinator和Broker在同一进程中，大量IO会造成其性能下降
四、消息队列BMQ
简介
兼容Kafka协议，存算分离，云原生消息队列
架构
读写流程
Failover机制、写入状态机
高级特性
- 泳道
BOE是一套完全独立的线下机房环境
PPE是产品预览环境 - Databus
简化消息队列客户端复杂度
解耦业务与Topic
缓解集群压力，提供吞吐 - Mirror
使用Mirror通过最终一致性的方式，解决跨Region读写问题。 - Index
直接在BMQ中将数据结构化，配置索引DDL，异步构建索引后，通过Index Query服务读出数据。 - Parquet
Apache Parquet是Hadoop生态圈中一种新型列式存储格式，可以兼容Hadoop生态圈中大多数计算框架（Hadoop、Spark等），被多种查询引擎支持。
五、消息队列RocketMQ
使用场景
电商业务线、业务峰值时刻。
基本概念
- 逻辑队列
Kafka：Topic
RocketMQ：Topic - 消息体
Kafka：Message
RocketMQ：Message - 标签
Kafka：无
RocketMQ：Tag - 分区
Kafka：Partition
RocketMQ：ConsumerQueue - 生产者
Kafka：Producer
RocketMQ：Producer - 生产者集群
Kafka：无
RocketMQ：Producer Group - 消费者
Kafka：Consumer
RocketMQ：Consumer - 消费者集群
Kafka：Consumer Group
RocketMQ：Consumer Group - 集群控制器
Kafka：Controller
RocketMQ：Nameserver
RocketMQ架构
高级特性
事务场景
重试和死信队列
延迟队列
