消息队列原理与实战 | 青训营笔记

洛神萧
67 阅读2分钟

这是我参与「第五届青训营」伴学笔记创作活动的第13天

消息队列

  • 案例

    1. 系统奔溃

      解决方案：解耦

    2. 服务处理能力有限

      解决方案：削峰

    3. 链路耗时长尾

      解决方案：异步

    4. 日志如何处理

      Log -> 消息队列 -> LogStash -> ES -> Kibana

什么是消息队列

消息队列（MQ），指保存消息的一个容器，本质是个队列。但这个队列呢，需要支持高吞吐，高并发，并且高可用。

  • 消息队列发展历程

    • TIB（诞生于1985年，服务于金融机构和新闻机构）
    • IBM MQ/WebSphere（诞生于1993年，商业消息队列平台市场主要玩家）
    • MSMQ（微软发布于1997年）
    • JMS（诞生于2001年，本质上是一套Java API）
    • AMQP/RabbitMQ（规范发布于2004年，同年RabbitMQ面世）
    • Kafka（2010年由Linked开源）
    • RocketMQ（2011年阿里中间件团队自研）
    • Pulsar（2012年诞生于Yahoo内部）

  • 业界消息队列对比

    • Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
    • RocketMQ：低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广
    • Pulsar：是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计
    • BMQ：和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群

Kafka

  • 如何使用Kafka

    • 创建集群
    • 新增Topic
    • 编写生产者逻辑
    • 编写消费者逻辑

  • 基本概念

    • Topic：逻辑队列，不同Topic可以建立不同的Topic
    • Cluster：物理集群，每个集群中可以建立多个不同的Topic
    • Producer：生产者，负责将业务消息发送到Topic中
    • Consumer：消费者，负责消费Topic中的消息
    • ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉
    • Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增
    • Replica：每个分片有多个Replica，Leader Replica将会从ISR中选出
avatar
文章
阅读
粉丝