kafufa和Zookeeper存储关系
安装kafufa和zookeeper后,进入zookeeper容器
docker exec -it zookeeper bash
然后进入/zookeeper-3.4.14/bin目录下
cd /zookeeper-3.4.14/bin
运行 zkCli.sh
输入ls / 你可以查看到brokers文件
在Kafka中,broker是指Kafka集群中的一个节点,每个broker都保存了一部分的消息数据。当Kafka启动时,它会向ZooKeeper注册自己的信息,并将自己标记为一个活跃的broker,所以这里面我个人理解是保存kafuka节点的地方。
查看ls /brokers 里面有topics,保存着消息主题
topic是指Kafka中的消息主题,它是由一个或多个分区组成的逻辑概念,用于对消息进行分类和管理。
继续查看
__consumer_offsets是Kafka内置的一个特殊主题(topic),用于存储消费者组(consumer group)的消费偏移量(offset)。当消费者从一个分区中消费消息时,它需要跟踪自己已经消费到了哪个偏移量,以便在下一次消费时从正确的位置开始。
Kafka使用__consumer_offsets主题来存储每个消费者组的消费偏移量。当消费者提交偏移量时,它实际上是向__consumer_offsets主题写入一个记录,该记录包含了消费者组、分区、偏移量等信息。当消费者再次启动时,它会从__consumer_offsets主题中读取之前提交的偏移量,以便从正确的位置开始消费消息。
__consumer_offsets主题的数据是Kafka自动管理的,不应该由用户直接操作。如果你需要查看消费者组的消费偏移量,可以使用Kafka提供的命令行工具或API来查询__consumer_offsets主题的数据。
partitions记录了0到49,50个分区用来记录你消费的消息要上报的偏移量。
由此论证fafuka的数据存放在zookeeper中。