这是我参与「第四届青训营 」笔记创作活动的的第9天

消息队列

消息队列应用场景

• MQ 消息通道
• EventBridge 事件总线
• Data Platform 数据流平台

主流消息队列

Kafka

Kafka架构

Kafka未来演进之路

1、去除zookeeper依赖

2、存算计算分离演进

3、使用KRaft作为元数据和数据存储介质

Kafka运维/调优经验

• 单机吞吐
• 参数配置
• 指标可视化
• 扩缩容优化

Pulsar

Pulsar架构

Pulsar Proxy

• 应用场景
  • 部分场景无法知道Broker地址，如云环境和Kubernetes环境
• 作用
  • 提供类似GateWay代理能力，解耦客户端和Broker，保障Broker安全

Pulsar Broker

1、无状态组件，负责运行两个模块

• Http服务器
  • 暴露restful接口，提供生产者和消费者topic查找api
• 调度分发器
  • 异步的tcp服务器，通过自定义二进制协议进行数据传输

2、作为数据层代理

• Bookie通讯
  • 作为Ledger代理负责和Bookie进行通讯
• 流量代理
  • 消息写入Ledger存储到Bookie
  • 消息缓存在堆外，负责快速响应

Pulsar Storage

Pulsar IO连接器

这不是类似于flume吗

Pulsar Functions

轻量型计算框架

Bookkeeper

Pulsar功能

生产者模式

消费模式

多租户能力

Plugin

GEO Replication