四十二、centos安装kafka,集群模式(生产者消费者部署测试)

187 阅读2分钟

环境准备:

centos 7

zookeeper正常运行

kafka_2.11-1.0.0.tgz

环境搭建:

一、安装:

        1、免费下载:

kafka_2.11-1.0.0.tgz.zip-Linux文档类资源-CSDN下载kafka_2.11-1.0.0.tgz.zip提示:先解压再使用,最外层是zip压缩文件更多下载资源、学习资料请访问CSDN下载频道.https://download.csdn.net/download/m0_54925305/37705799

        2、解压:

tar -zxvf kafka_2.11-1.0.0.tgz -C /home/

 

        3、重命名:

mv kafka_2.11-1.0.0/ kafka

 

二、修改配置文件

        1、修改 server.properties文件:

vim server.properties 

 

                A、修改zookeeper.connect:

 

        注:broker.id每台主机上都不一样,如果第一台为0,后面的机器分别为1,2

                B、修改log.dirs:

 

                C、最后加入两行:

host.name=master
delete.topic.enable=true

        注:master这里为对应的节点名

        2、创建logs文件:

                由于第二步改成 kafka/logs,而该路径没有此目录,故kafka/下创建此目录:

mkdir logs

        3、分发给slave1和slave2节点:

 

 

        4、分别修改slave1和slave2的server.properties文件:

                A、修改broker.id和host.name:

slave1节点:
broker.id=1
host.name=slave1
slave2节点:
broker.id=2
host.name=slave2

三、启动zookeeper

                1、进入zookeeper目录:

 

 

        注:三张图三台机器,简洁明了

四、启动kafka

        1、进入kafka安装目录:

 bin/kafka-server-start.sh -daemon ./config/server.properties  &

 

 

        注:三台机器,全部启动,查看节点 

五、测试

        1、在mastr上创建topic-test

./bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic test

         2、在master,slave1,slave2上查看已创建的topic列表 test:

 

 

         3、在master上启动生产者:

./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test

        4、在slave上启动消费者:

./bin/kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --from-beginning --topic test

        注:master输入什么,slave节点就会输出什么,生产者与消费者的调度测试结束 

        5、删除主题:

./bin/kafka-topics.sh --delete --zookeeper master:2181,slave1:2181,slave2:2181 --topic test

        6、停止kafka集群:

./bin/kafka-server-stop.sh

centos安装kafka,集群模式(生产者消费者部署测试)完成