kafka安装与配置

首先安装zookeeper

修改kafka server.properties 文件

# broker的编号，如果集群中有多个broker，则每个broker的编号需要设置不同
broker.id=0

# broker对外提供服务地址
listeners=PLAINTEXT://192.168.94.151:9092

# 存放消息日志文件的地址
log.dirs=/opt/module/kafka_2.12-2.3.1/logs/

# kafka所需的zookeeper集群地址
zookeeper.connect=192.168.94.151:2181/kafka

单机启动

/opt/module/kafka_2.12-2.3.1/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.12-2.3.1/config/server.properties

创建主题

分区数为2，副本因子为1（只有一个broker）

[xuhaixing@192.168.94.151 kafka_2.12-2.3.1]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafka --create --topic topic-demo01 --replication-factor 1 --partitions 2
Created topic topic-demo01.

查看主题详情

[xuhaixing@192.168.94.151 kafka_2.12-2.3.1]$ kafka-topics.sh --zookeeper 192.168.94.151:2181/kafka --describe --topic topic-demo01
Topic:topic-demo01	PartitionCount:2	ReplicationFactor:1	Configs:
	Topic: topic-demo01	Partition: 0	Leader: 0	Replicas: 0	Isr: 0
	Topic: topic-demo01	Partition: 1	Leader: 0	Replicas: 0	Isr: 0

接收消息

[xuhaixing@192.168.94.151 ~]$ kafka-console-consumer.sh --bootstrap-server 192.168.94.151:9092 --topic topic-demo01

--bootstrap-server指定连接的kafka集群地址，--topic指定了消费者订阅的主题

发送消息

[xuhaixing@192.168.94.151 ~]$ kafka-console-producer.sh --bootstrap-server 192.168.94.151:9092 --topic topic-demo01

--broker-list已过时，用--bootstrap-server

修改jvm参数

修改文件 bin/kafka-run-class.sh

#默认
if [ -z "$KAFKA_HEAP_OPTS" ]; then
  KAFKA_HEAP_OPTS="-Xmx256M"
fi

开启Jmx

可以接入监控

kafka开启JMX的2种方式：

启动kafka时增加JMX_PORT=9988，即JMX_PORT=9988 bin/kafka-server-start.sh -daemon config/server.properties 修改kafka-run-class.sh脚本，增加JMX_PORT=9988。