青训营 - 消息队列

48 阅读1分钟

四个问题

  1. 系统崩溃 解耦 - 消息队列 - 存储服务器

  2. 大量请求 削峰

  3. 商家处理慢 异步 : 订单记录 、 库存记录 、 通知商家

  4. 日志处理 本地日志 - 消息队列 - 日志处理 - 展示分析

消息队列 MQ 保存消息的一个容器,本质是个队列,需要支持高吞吐,高并发,并且高可用

消息队列发展历程

TIB -> websphere -> MSMQ -> JMS -> AMQP/RabbitMQ -> Kafka -> RocketMQ -> Pulsar

Kafka

分布式、分区、多副本的日志提交服务,高吞吐场景

搜索服务、直播服务、订单服务 支付服务 日志 Mstrics 用户行为

  • 使用: 创建集群 - 新建topic- 编写生产者逻辑 - 编写消费者逻辑
  • cluster 业务集群
  • producer
  • consumer group
  • topic - partition - replica: leader, follower
  • broker - 顺序写;偏移量索引文件