消息队列

一、引入

1、系统奔溃

系统搜索相应的内容进行存储。

解决方案：

2、服务处理能力有限

购买商品时，如何处理相应的请求量。

解决方案：

3、链路耗时长尾

链路的处理流程

解决方案：

4、日志如何处理

如果存储出现问题，该如何处理

解决方案：日志处理

二、消息队列

1、概念

消息队列(MQ)，指保存消息的一个容器，本质是个队列。但这个队列，需要支持高吞吐，高并发，并且高可用。

2、前世今生

业界消息队列对比：

Kafka：分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色 RocketMQ:低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些 实时景中运用较广 Pulsar:是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、 采用存算分离的架构设计 BMQ:和Pulsar架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步 替换掉对应的Kafka集群

三、不同常用的队列

1、消息队列一Kafka

一般用于离线的一些消息处理当中。

Metrics数据：检查程序是否处于一个健康的状态。

使用流程：

创建集群 新增Topic 编写生产者逻辑 编写消费者逻辑

Topic：逻辑队列，不同Topic可以建立不同的Topic Cluster：物理集群，每个集群中可以建立多个不同的Topic Producer：生产者，负责将业务消息发送到Topic中 Consumer:消费者，负责消费Topic中的消息 ConsumerGroup：消费者组，不同组Consumer消费进度互不干涉

Kafka架构

Kafka—问题总结

1.运维成本高 2.对于负载不均衡的场景，解决方案复杂 3.没有自己的缓存，完全依赖PageCache 4.ControIIer和Coordinator和Broker在同一进程中，大量℃会造成其性能下降

2、消息队列一BMQ

兼容Kafka协议，存算分离，云原生消息队列

运维操作对比

HDFS写文件流程