kafka集群搭建(非docker)

90 阅读1分钟

安装zookeeper集群

1,jdk8环境,下载安装zookeeper

image.png

2,配置

image.png

image.png

3,进一步配置

vim /etc/profile
添加
#zookeeper
export ZK_HOME = 绝对路径(到bin目录)
export PATH = $PATH:$ZK_HOME/bin

image.png

#config下zoo.cfg
server.1=192.168.234.131:2888:3888
server.2=192.168.234.132:2888:3888
server.3=192.168.234.133:2888:3888

image.png

zkData下 
vim myid,分别写入1,2,3

4,集群测试

bin目录下:

./zkServer.sh start 开启

./zkServer.sh status 查看状态

安装kafka

1,解压压缩包

2,修改server.properties

#指定broker的id,其他集群的为1,2,。。。
broker.id = 0 
#指定kafka数据位置,在bin目录同级下创建datas的绝对路径
log.dirs = /root/kafka/datas
#zookeeper连接
zookeeper.connect = IP1:2181,IP2:2181,IP3:2181
listeners = PLAINTEXT://本机IP:9092

3,配置kafka环境变量

vim /etc/profile
#kafka
#kafka
export KAFKA_HOME=/root/kafka
export PATH=:$PATH:${KAFKA_HOME}

4,启动

./kafka-server-start.sh -daemon ../config/server.properties jps 检查启动状态

5,kafka相关命令操作

# 查看topic
./kafka-topics.sh --bootstrap-server 192.168.234.131:9092 --list
# 创建topic
./kafka-topics.sh --bootstrap-server 192.168.234.131:9092 --create --partitions 1 --replication-factor 3 --topic 名称
# 查看详情
./kafka-topics.sh --bootstrap-server 192.168.234.131:9092 --topic 名称 --describe
# 生产者
./kafka-console-producer.sh --bootstrap-server 192.168.234.131:9092 --topic 名称
# 消费者
./kafka-console-consumer.sh --bootstrap-server 192.168.234.131:9092 --topic 名称 --from-beginning