CentOS7安装kafka2.13
开始
官网，点击DOCS，点击- Expanding your cluster
要把一个 broker 加入到集群里，只需要修改两个配置参数。首先，所有 broker 都必须配 置相同的 zookeeper.connect，该参数指定了用于保存元数据的 Zookeeper 群组和路径。 其次，每个 broker 都必须为 broker.id 参数设置唯一的值。如果两个 broker 使用相同的 broker.id，那么第二个 broker 就无法启动
基础环境
| IP | Broker |
|---|---|
| 172.20.20.110 | node1 |
| 172.20.20.227 | node2 |
| 172.20.20.248 | node3 |
参考 CentOS7安装kafka2.13，搭建3个节点kafka，各个节点核心配置如下，其他默认
# on node1
#brokerid 唯一
broker.id=110
#node1 ip
listeners=PLAINTEXT://172.20.20.110:9092
#日志文件路径
log.dirs=/usr/local/kafka_2.13-3.1.0/logs
#zk集群地址
zookeeper.connect=172.20.20.110:2181,172.20.20.248:2181,172.20.20.227:2181
# on node2
broker.id=227
listeners=PLAINTEXT://172.20.20.227:9092
log.dirs=/usr/local/kafka_2.13-3.1.0/logs
zookeeper.connect=172.20.20.227:2181,172.20.20.248:2181,172.20.20.110:2181
# on node3
broker.id=248
listeners=PLAINTEXT://172.20.20.248:9092
log.dirs=/usr/local/kafka_2.13-3.1.0/logs
zookeeper.connect=172.20.20.248:2181,172.20.20.110:2181,172.20.20.227:2181
创建集群
# 3节点分别执行
[root@rabbitmq1 kafka_2.13-3.1.0]# nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
#查看日志
[root@rabbitmq3 kafka_2.13-3.1.0]# tail -f logs/server.log
xx
#此日志表示启动成功
[2022-03-20 02:08:15,584] INFO [KafkaServer id=110] started (kafka.server.KafkaServer)
xx
测试
#任意一节点执行
#创建主题 quickstart-events，3个副本，3个分区
[root@rabbitmq1 kafka_2.13-3.1.0]# bin/kafka-topics.sh --create --replication-factor 3 --partitions 3 --topic quickstart-events --bootstrap-server 172.20.20.110:9092
Created topic quickstart-events.
#任意一节点执行
#查看主题状态，可知3个分区已分布在不同node，副本也生效
[root@rabbitmq1 kafka_2.13-3.1.0]# bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server 172.20.20.110:9092
Topic: quickstart-events TopicId: IrEVzP_uQSyQhFKB4XXyYg PartitionCount: 3 ReplicationFactor: 3 Configs: segment.bytes=1073741824
Topic: quickstart-events Partition: 0 Leader: 248 Replicas: 248,110,227 Isr: 248,110,227
Topic: quickstart-events Partition: 1 Leader: 227 Replicas: 227,248,110 Isr: 227,248,110
Topic: quickstart-events Partition: 2 Leader: 110 Replicas: 110,227,248 Isr: 110,227,248
