kafufa和Zookeeper存储关系

78 阅读2分钟

kafufa和Zookeeper存储关系

安装kafufa和zookeeper后,进入zookeeper容器

docker exec -it zookeeper bash

然后进入/zookeeper-3.4.14/bin目录下

 cd /zookeeper-3.4.14/bin

运行 zkCli.sh

image-20231226160155957.png

输入ls / 你可以查看到brokers文件

image-20231226161103320.png

​ 在Kafka中,broker是指Kafka集群中的一个节点,每个broker都保存了一部分的消息数据。当Kafka启动时,它会向ZooKeeper注册自己的信息,并将自己标记为一个活跃的broker,所以这里面我个人理解是保存kafuka节点的地方。

查看ls /brokers 里面有topics,保存着消息主题

image-20231226160251014.png

​ topic是指Kafka中的消息主题,它是由一个或多个分区组成的逻辑概念,用于对消息进行分类和管理。

继续查看

image-20231226161828871.png __consumer_offsets是Kafka内置的一个特殊主题(topic),用于存储消费者组(consumer group)的消费偏移量(offset)。当消费者从一个分区中消费消息时,它需要跟踪自己已经消费到了哪个偏移量,以便在下一次消费时从正确的位置开始。

Kafka使用__consumer_offsets主题来存储每个消费者组的消费偏移量。当消费者提交偏移量时,它实际上是向__consumer_offsets主题写入一个记录,该记录包含了消费者组、分区、偏移量等信息。当消费者再次启动时,它会从__consumer_offsets主题中读取之前提交的偏移量,以便从正确的位置开始消费消息。

__consumer_offsets主题的数据是Kafka自动管理的,不应该由用户直接操作。如果你需要查看消费者组的消费偏移量,可以使用Kafka提供的命令行工具或API来查询__consumer_offsets主题的数据。

partitions记录了0到49,50个分区用来记录你消费的消息要上报的偏移量。

image-20231226162200104.png

由此论证fafuka的数据存放在zookeeper中。