消息队列原理与实战 | 青训营笔记

jszfree
52 阅读2分钟

这是我参与「第五届青训营」笔记创作活动的第17天。

学习内容

今天学习了消息队列的相关知识，并进行了实践。

消息队列

消息队列(MQ)，指保存消息的一个容器，本质是个队列。但这个队列呢，需要支持高吞吐，高并发，并且高可用。

捕获.PNG

消息队列发展历程

捕获.PNG

消息队列应用场景

  • 系统崩溃

    • 捕获.PNG

    • 解决方案：解耦

    • 捕获.PNG

  • 服务能力有限

    • 捕获.PNG

    • 解决方案：削峰

    • 捕获.PNG

  • 链路耗时长尾

    • 捕获.PNG

    • 解决方案：异步

    • 捕获.PNG

  • 日志存储

捕获.PNG

Kafka消息队列

分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色

  • 使用场景：业务日志、用户行为数据、Metrics数据
  • 使用方法：创建集群 -> 新增Topic -> 编写生产者逻辑 -> 编写消费者逻辑

基本概念

捕获.PNG

  • Topic：逻辑队列，不同Topic可以建立不同的Topic

    • 捕获.PNG

    • Offset：消息在partition内的相对位置信息，可以理解为唯一ID，在partition内部严格递增。

    • 捕获.PNG

    • 每个分片有多个Replica，Leader Replica将会从ISR中选出。
  • Cluster：物理集群，每个集群中可以建立多个不同的Topic
  • Producer：生产者，负责将业务消息发送到Topic中
  • Consumer：消费者，负责消费Topic中的消息
  • ConsumerGroup：消费者组，不同组Consumer消费进度互不干

Kafka架构

捕获.PNG

  • Zookeeper: 负责存储集群元信息，包括分区分配信息等。

缺陷

  1. 运维成本高
  2. 对于负载不均衡的场景，解决方案复杂
  3. 没有自己的缓存，完全依赖Page Cache
  4. Controller和Coordinator和Broker 在同一进程中，大量IO会造成其性能下降

Pulsar

是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计

BMQ消息队列

和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步替换掉对应的Kafka集群

BMQ架构

捕获.PNG

RocketMQ消息队列

低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些实时场景中运用较广

avatar
文章
阅读
粉丝