【Kafka系列】Apache Kafka Architecture

134 阅读1分钟

1. 整体结构

image.png

  • Broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker。
  • Topic:每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)。
  • Partition:Partition是物理上的概念,每个Topic包含一个或多个Partition。
  • Producer:负责发布消息到 Kafka Broker。
  • Consumer:消息消费者,向 Kafka Broker读取消息的客户端。
  • Consumer Group:每个 Consumer 属于一个特定的 Consumer Group(可为每个 Consumer 指定 group name,若不指定 group name 则属于默认的 group )。

2. 生产者(Kafka Producers)

image.png

数据同步:

image.png

3. 消费者(Kafka Consumer)

image.png