这是我参与「第五届青训营」伴学笔记创作活动的第 13 天
消息队列是啥？
消息队列本质上就是一个容器，用于存取消息。
发展流程
- Kafka： 分布式、分区、多副本的日志提交服务，在高吞吐场景下发挥较为出色。
- RocketMQ： 低延迟、强一致、高性能、高可靠、万亿级容量和可扩展性，在一些实时场景中运用较广
- Pulsar： 下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用存算分离的架构设计
- BMQ： 和 Pulsar类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的 Kafka 集群
Kafka
使用场景：
- 搜索服务
- 直播服务
- 订单服务
- 支付服务
- 日志信息
- Metrics 数据
- 用户行为（搜索、点赞、评论、收藏等）
使用流程
- 创建集群
- 新增 Topic
- 编写生产者逻辑
- 编写消费者逻辑
基本概念
Topic：逻辑队列
Cluster： 物理集群，每个集群可以建立多个不同的 Topic
Producer: 生产者，负责将业务发到 Topic
Consumer： 消费者，负责消费 Topic 中的消息
ConsumerGroup： 消费者组，不同组的 Consumer 消费进度互不干涉
数据赋值
在 Producer 中， 每个 Topic 有一个 Leader 和多个 Follower。
生产者
- 序列化器：序列化消息对象转成字节数组，然后通过网络传输。
- 分区器：计算消息发往的具体分区;如果显示指定了partition，便不会走分区器。
- 消息缓冲池：客户端的消息缓冲池，默认大小32M，见参数buffer.memory。
- 批量发送：缓冲池中消息会按batch分批次发送，默认批次大小16KB，见参数batch.size。
负载均衡
由于消息 Topic 由多个 Partition 组成，且 Partition 会均衡分布到不同 Broker 上。因此，为了有效利用 Broker 集群的性能，提高消息的吞吐量，Producer 可以通过随机或者hash 等方式，将消息平均发送到多个 Partition 上，以实现负载均衡。
