查看Broker磁盘信息
查询指定topic磁盘信息 --topic-list topic1, topic2
bin/kafka-log-dirs.sh --bootstrap-server xxxx:9092 --describe --topic-list test2
查询指定Broker磁盘信息--broker-list 0 broker1,broker2
bin/kafka-log-dirs.sh --bootstrap-server xxxxx:9092 --describe --topic-list test2 --broker-list 0
如果觉得用命令查询磁盘信息比较的麻烦，你可以通过LgIKM进行查看。
Know Streaming是一套云原生的Kafka管控平台，脱胎于众多互联网内部多年的Kafka运营实践经验，专注于Kafka运维管控、监控告警、资源治理、多活容灾等核心场景。在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设，提供一系列特色的功能，极大地方便了用户和运维人员的日常使用，让普通运维人员都能成为Kafka专家。
消费者组管理 kafka-consumer-groups.sh
- 查看消费者列表 --list
bin/kafka-consumer-groups.sh --bootstrap-server xxxx:9092 --list
先调用MetadataRequest拿到所有在线Broker列表 再给每个Broker发送ListGroupsRequest请求获取 消费者组数据
- 查看消费者组详情--describe
查看消费组详情--group 或 --all-groups
查看指定消费组详情--group
bin/kafka-consumer-groups.sh --bootstrap-server xxxxx:9092 --describe --group test2_consumer_group
查看所有消费组详情--all-groups
bin/kafka-consumer-groups.sh --bootstrap-server xxxxx:9092 --describe --all-groups
查看该消费组 消费的所有Topic、及所在分区、最新消费offset、Log最新数据offset、Lag还未消费数量、消费者ID等等信息
查看某个消费者的消费情况
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group testgroup --describe
kafka补充信息
消费组列名解读
- TOPIC： 消费者的topic名称
- PARTITION： 分区数的名称
- CURRENT-OFFSET： consumer group最后一次提交的offset
- LOG-END-OFFSET： 最后提交的生产消息offset
- LAG： 消费offset与生产offset之间的差值
- CONSUMER-ID： 消费者的ID编号，消费者组里面最少要有一个消费者，当然也可以有多个消费者
- HOST： 消费者的主机IP地址
- CLIENT-ID： 链接的ID编号
kafka有个常用的设置是 auto.offset.reset ，该属性指定了消费者在读取一个没有偏移量的分
区或者偏移量无效的情况下(因消费者长时间失效，包含偏移量的记录已经过时井被删除)该作何处理。
它的默认值是 latest，意思是说，在偏移量无效的情况下，消费者将从最新的记录开始读取数据(在消
费者启动之后生成的记录)。另一个值是 earliest ，意思是说，在偏移量无效的情况下，消费者将从起
始位置读取分区的记录。
offset属性有以下几个值：
- earliest： 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费
- latest： 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据
- none： topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常
这个设置只有当我们的消费者(或者消费者群组)在分区内找不到有效的offset时才会生效。
