二:2步教会你监控Kafka集群

459 阅读1分钟

前言

平常想监控kafka的一些性能和指标,或者是创建一些主题,总是需要通过命令行,并不是很方便,下面介绍一个kafka的监控工具,话不多说,直接开干

准备阶段

开始部署

  • 上传文件到,服务器,具体路径可以自己定,我使用的是/export/software

    • cd /export/software/
    • rz 选择window下刚才下载的Kafka-Eagle文件(kafka-eagle-bin-2.0.8.tar.gz)(如果没有rz命令,自行百度下载)
    • tar -xvzf kafka-eagle-bin-2.0.8.tar.gz -C ../server/ (解压)
    • cd /export/server/kafka-eagle-bin-2.0.8还需要解压一次里面的内容
    • tar -xvzf efak-web-2.0.8-bin.tar.gz
  • 配置 kafka_eagle 环境变量

    • vim /etc/profile

      • export KE_HOME=/export/server/kafka-eagle-bin-2.0.8/efak-web-2.0.8
      • export PATH=PATH:PATH:PATH:KE_HOME/bin
      • source /etc/profile
  • 配置 kafka_eagle的配置文件(在efak-web-2.0.8/conf目录下面)

    • vim conf/system-config.properties

      • #修改kafka集群别名

        kafka.eagle.zk.cluster.alias=cluster1

      • 配置ZK集群地址

        • cluster1.zk.list=node1:2181,node2:2181,node3:2181
      • 注释下面行

        • #cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181
      • 取消sqlite数据库连接配置

        #kafka.eagle.driver=org.sqlite.JDBC #kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db #kafka.eagle.username=root #kafka.eagle.password=www.kafka-eagle.org

      • 开启mysql链接配置

        kafka.eagle.driver=com.mysql.jdbc.Driver kafka.eagle.url=jdbc:mysql://node1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull kafka.eagle.username=root kafka.eagle.password=123456

  • 修改kafka_eagle 启动脚本

    • cd /export/server/kafka-eagle-bin-2.0.8/kafka-eagle-web-2.0.8/bin

    • vim ke.sh(在后面加入)

      • export JAVA_HOME=/export/server/jdk1.8.0_241(jdk的安装路径)
  • 开启Kafka JMX(创建一个kafka的启动脚本)

    • vim kafka_start.sh

      cd ${KAFKA_HOME}

      export JMX_PORT=9988

      nohup kafka-server-start.sh config/server.properties &

  • 启动,ke.sh start

3.png

  • 成功的标志,你能看到这个登录界面,并且进去

1.png

2.png