应用场景
- 系统崩溃 → 解藕，利用消息队列代替存储服务
- 服务处理能力有限 → 削峰： 每次只获取固定数量的请求进行处理
- 链路耗时长尾 → 异步：使用消息队列作为buffer，同时进行多个操作
- 日志如何处理
What
- 消息队列（MQ）是一个保存消息的容器，本质是一个队列
- 需要支持高吞吐，高并发，高可用
业界MQ
- Kafka：使用于高吞吐场景
- RocketMQ：实时场景
- Pulsar：下一代云原生分布式消息流，存算分离
- BMQ：和Pulsar类似，存算分离，承接高吞吐的离线业务场景
日志如何处理
使用MQ处理日志有以下几个优点：
- 异步处理: 不需要实时处理的日志可以先放入消息队列，等到系统空闲时再进行处理。
- 分布式处理: 大量的日志可以分发到多个消费者进行并行处理，提高效率。
- 持久化: 通过MQ，可以确保日志不会因为某些原因而丢失。
- 流式处理: 与流处理框架如Apache Flink、Apache Storm等集成，可以对日志进行实时的流处理。
在选择如何处理日志时，首先需要确定日志的种类和用途，例如错误日志、访问日志或业务日志。不同类型的日志可能需要不同的处理策略。同时，需要考虑存储日志的时间长度，以及是否需要对日志进行分析和查询。
结论
消息队列作为一个中间件在现代系统中扮演着越来越重要的角色。了解其基本概念、应用场景和如何选择对应的MQ产品对于系统设计和优化是至关重要的。在面对各种业务挑战时，恰当的使用MQ可以大大提高系统的可靠性、扩展性和维护性。
