这是我参与「第五届青训营 」伴学笔记创作活动的第 13 天
走进消息队列
案例一:系统崩溃
案例二:服务能力有限
案例三:链路耗时长
案例四:日志存储
什么是消息队列
保存消息的一个容器,本质是个队列。但这个队列呢,需要支持高吞吐,高并发,并且高可用
消息队列的发展历程
业内消息队列的对比
Kafka
使用场景
如何使用
graph TD
创建集群 --> 新增Topic --> 编写生产者逻辑 --> 编写消费者逻辑
基本概念
Offset
消息在 partition 内的相对位置信息,可以理解为唯-ID,在 partition 内部严格递增
Replica
每个分片有多个 Replica,Leader Replica 将会从 ISR 中选出
数据复制
Kafka框架
Producer-批量发送
Producer-数据压缩
Broker-数据的存储
Broker 消息文件结构
Broker-磁盘结构
磁盘转动,找到对应扇区,最后写入。寻道成本比较高,因此顺序写可以减移动磁头找到对应磁道,少寻道所带来的时间成本