消息队列原理 | 青训营笔记

这是我参与「第五届青训营 」伴学笔记创作活动的第 11 天

概述

1. 消息队列的前世今生

2. 消息队列-Kafka

3. 消息队列-BMQ

4. 消息队列-RocketMQ

消息队列的前世

• 消息队列应用场景

• 消息队列的发展历史

常见消息队列

• Kafka使用场景、架构、高级特性

• Pulsar使用场景、架构、高级特性

• Rocket使用场景、架构、高级特性

消息队列是什么

• 解耦

• 削峰

• 异步

• 日志处理

消息队列的前世今生

消息队列-Kafka

kafka使用场景，业务日志、用户行为数据、Metrics数据

基本概念，Producer、Cluster、Consumer、Topic、Partition

• Topic：逻辑队列，不同Topic可以建立不同的Topic
• Cluster：物理集群，每个集群中可以建立多个不同的Topic
• Producer：生产者，负责将业务信息发送到Topic中
• Consumer：消费者，负责消费Topic中的消息
• ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉 数据迁移、Offset、Partition选主

一条消息从生产到消费是如何处理的，Producer端逻辑、Broker端逻辑、Consumer端逻辑

消息队列-BMQ

Kafka在使用中遇到问题 BMQ架构

BMQ各模块是如何工作的，Broker、Proxy、HDFS、MetaStorage

BMQ多机房容灾

消息队列-RocketMQ

RocketMQ使用场景

• 针对电商业务线，其业务涉及广泛，如注册、订单、库存、物流等；同时也会涉及许多业务峰值时刻，如秒杀活动、周年庆、定期优惠等 RocketMQ和Kafka对比

RocketMQ架构介绍，Producer、Broker、Nameserver、Consumer

一条消息从生产到消费是如何处理的，Producer端逻辑、Broker端逻辑、Consumer端逻辑

加油！