消息队列原理与实战| 青训营笔记

这是我参与「第五届青训营」伴学笔记创作活动的第 16 天。

一、本堂课重点内容：

消息队列的前世

• 消息队列应用场景
• 消息队列的发展历史

常见消息队列

• Kafka使用场景、架构、高级特性
• Pulsar使用场景、架构、高级特性
• Rocket使用场景、架构、高级特性

二、详细知识点介绍：

• 消息队列是什么

  • 解耦
  • 削峰
  • 异步
  • 日志处理

• 消息队列的前世今生

  • 消息队列-Kafka
    • kafka使用场景，业务日志、用户行为数据、Metrics数据
      • 使用场景
        • 搜索服务
        • 直播服务
        • 订单服务
        • 支付服务
      • 如何使用
        • 创建集群
        • 新增Topic
        • 编写生产者逻辑
        • 编写消费者逻辑
    • 基本概念，
      • Producer：生产者
      • Cluster：物理集群
      • Consumer：消费者
      • Topic：逻辑队列
      • Partition：topic的分区
    • 数据迁移、
      • Offset：消息在partition内的相对位置信息，可以理解为唯一ID
      • Partition选主
    • 一条消息从生产到消费是如何处理的，Producer端逻辑、Broker端逻辑、Consumer端逻辑
  • 消息队列-BMQ
    • Kafka在使用中遇到问题
    • BMQ架构
      • BMQ介绍
      • 运维操作对比
      • HDFS写文件流程
      • BMQ文件结构
      • Broker—Partition状态机
    • BMQ各模块是如何工作的，Broker、Proxy、HDFS、MetaStorage
      • Broker-写文件流程
      • Proxy
      • 多机房部署
      • BMQ-高级特性
      • 泳道消息
      • Databus
      • Mirror
      • Index
      • Parquet
    • BMQ多机房容灾
  • 消息队列-RocketMQ
    • RocketMQ使用场景
      • 电商业务线
      • 业务峰值时刻
    • RocketMQ和Kafka对比
    • RocketMQ架构介绍，Producer、Broker、Nameserver、Consumer
    • 存储模型
    • 高级特性
      • 事务场景
      • 事务消息
      • 延迟发送
      • 延迟消息
      • 消费重试和死信队列
    • 一条消息从生产到消费是如何处理的，Producer端逻辑、Broker端逻辑、Consumer端逻辑

• 消息队列在字节

  • 一些最佳实践的场景，包括数据展示

三、课后个人总结：

• 好好学习 天天向上
• 参考链接：juejin.cn/post/719632…