这是我参与「第三届青训营 - 后端场」笔记创作活动的的第 6 篇笔记。
一、消息队列前世今生
- 发展历程
- 1885： TIB
- 1993：IBM MQ / WebSphere
- 1997: MSMQ
- 2001: JMS
- 2004: AMQP/RabbitMQ
- 2010：Kafka
- 2011： RocketMQ
- 2012: pulsar
- 消息队列对比
- Kafka: 分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
- RocketMQ: 低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
- Pulsar: 是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
- BMQ: 和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群
- Kafka
- 基本概念
- Topic:逻辑队列，不同Topic可以建立不同的Topic
- Cluster:物理集群。每个集群中可以建立多个不同的Topic
- Producer:生产者，负责将业务消息发送到Topic中
- Consumer:消费者，负责消费Topic中的消息
- ConsumerGroup:消费者组，不同组 Consumer消费进度互不干涉
- Offset:消息在 partition内的相对位置信息，可以理解为唯一ID，在 partition内部严格递增。
- Replica: 每个分片有多个 Replica，Leader Replica将会从ISR(In-Sync Replicas)中选出。
- 可以帮助Kafka提高吞吐或者稳定性的功能
- Producer:批量发送、数据压缩
- Broker:顺序写，消息索引，零拷贝
- Consumer:Rebalance
- 问题
- 运维成本高
- 对于负载不均衡的场景，解决方案复杂
- 没有自己的缓存，完全依赖 Page Cache
- Controller和 Coordinator和Broker在同一进程中，大量IO会造成其性能下降
- 基本概念
- BMQ： 兼容Kafka协议，存算分离，云原生消息队列
- 高级特性
- 泳道消息
- BOE: Bytedance Offline Environment，是一套完全独立的线下机房环境
- PPE: Product Preview Environment，即产品预览环境
- DataBus
- 简化消息队列客户端复杂度
- 解耦业务与Topic
- 缓解集群压力，提高吞吐
- Mirror
- Index
- Parquet
- 泳道消息
- 高级特性
- RocketMQ: 感觉比Kafka多了一个tag功能
- 高级特性
- 事务场景
- 延迟发送
- 延迟消息
- 处理失败
- 消息重试和死信队列
- 高级特性
