这是我参与「第五届青训营 」伴学笔记创作活动的第 10 天
消息队列(MQ)，是指保存消息的一个容器，本质是个队列。但这个队列呢，需要支持高吞吐，高并发，并且高可用。
消息队列在业务处理中必不可缺
常见消息队列
- Kafka使用场景、架构、高级特性
- Pulsar使用场景、架构、高级特性
- Rocket使用场景、架构、高级特性
消息队列必不可少的案例
- 系统崩溃
- 服务能力不足
- 链路耗时太长
- 日志存储丢失等问题
解决方案
- 解耦
- 削峰
-
异步
-
日志处理
业内消息队列对比
- Kafka: 分布式的、分区的、多副本的日志提交服务，在高吞吐场景下发挥较为出色
- RocketMQ: 低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性，在一些 实时场景中运用较广
- Pulsar: 是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体、 采用存算分离的架构设计
- BMQ: 和Pusa架构类似，存算分离，初期定位是承接高吞吐的离线业务场景，逐步 替换掉对应的Kafka集群
Kafka
一般用于离线的消息处理（日志信息、用户行为、Metrice数据）
kafka的使用
创建集群
新增Topic
编写生产者逻辑
编写消费者逻辑
基本概念
Topic:逻辑队列，不同Topic可以建立不同的Tope
Cut:物理集群，每个集群中可以建立多个不同的TCpe
Producer:生产者，负责将业务消息发送到Topic中
Consumer:消员者。负责有要Tooc中的消息
ConsumerGroup:消费者里，不网组Consumer消费进度互不干涉
Offset:消息在partition内的相对位置信息，可以理解为唯一D,在partition内部严格递增.
- Replica
架构
- producer 消息生产者
加强发送能力的方式：通过压缩，减少消息大小，前支持Snappy、Gzip、LZ4、ZSTD压缩算法
- Broker 磁盘结构
移动磁头找到对应磁，磁盘转动，找到对应扇区，最后写入。寻湔成本比较高，因此顺序写可以减 少寻道所带来的时间成本。会通过零拷贝的方式copy文件
- Consumer 消息消费者
kafka存在问题
1．运维成本高 2．对于负载不均衡的场景，解决方案复杂 3．没有自己的缓存，完全依赖PageCache 4．ControIIer和Coordinator和Broker在同一进程中，大量|O会造成其性能下降
