如何用Know Streaming来查询Kafka的消息

495 阅读1分钟

功能简介

Kafka的消息查看功能算是一个呼声比较高的需求了。但是它目前还并不能像RocketMq那样比较友好的对消息做一些复杂查询操作。

目前KnowStreaming的实现方式是使用Consumer客户端来拉取数据

操作流程

①. Topic列表 - > Topic详情 -> Messages

在这里插入图片描述

操作亮点

多维度过滤查询

  1. 选择offset类型: latest(最近) | earliest (最早) 在这里插入图片描述

  2. 选择指定分区 在这里插入图片描述

  3. 指定Key / Value 在这里插入图片描述

数据截断

在这里插入图片描述

实现原理

构建KafkaConsumer客户端,调用KafkaAdminClient请求获取数据。

Know Streaming介绍

Know Streaming脱胎于互联网公司内部多年的Kafka运营实践经验,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛 不会对Apache Kafka做侵入性改造,就可纳管0.10.x-3.x集群版本,帮助您提升集群管理水平;我们屏蔽了流处理的复杂性,让普通运维人员都能成为流处理专家

Know Streaming Github

Know Streaming 官网

如何参与共建