kafka安装配置备忘

业务中需要在配置一个kafka集群使用，之前一直是sa配置，本次由于要的比较急，故根据以上大佬文章配置了下，在此记录备忘。这里依旧是准备3台机器，安装kafka集群

一. 安装

下载的该版本zookeeper依赖jdk1.8及以上，版本不对会报错

下载

wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.7.0/kafka_2.12-2.7.0.tgz
解压 tar xzvf kafka_2.12-2.7.0.tgz

二. 配置

mkdir /data/kafka_2.12-2.7.0/zookeeper        #创建zookeeper数据目录
mkdir /data/kafka_2.12-2.7.0/log              #创建日志目录
mkdir /data/kafka_2.12-2.7.0/log/zookeeper    #创建zookeeper日志目录
mkdir /data/kafka_2.12-2.7.0/log/kafka        #创建kafka日志目录

zookeeper配置每台机器上编辑文件几乎相似， vim /kafka_2.12-2.7.0/config/zookeeper.properties，都如下

#修改为自定义的zookeeper数据目录
dataDir=/data/kafka_2.12-2.7.0/zookeeper

#修改为自定义的zookeeper日志目录
dataLogDir=/data/kafka_2.12-2.7.0/log/zookeeper 

# 端口
clientPort=2181

#注释掉
#maxClientCnxns=0

#设置连接参数，添加如下配置
tickTime=2000　　　　#为zk的基本时间单元，毫秒
initLimit=10　　　　 #Leader-Follower初始通信时限 tickTime*10
syncLimit=5　　　　　#Leader-Follower同步通信时限 tickTime*5

#设置broker Id的服务地址
server.0=10.5.10.1:2888:3888
server.1=10.5.10.2:2888:3888
server.2=10.5.10.3:2888:3888

zookeeper数据目录添加myid配置根据上面配置文件里，broker id 对应的服务器，在每台机器上的数据目录生成文件id

cd /data/kafka_2.12-2.7.0/zookeeper
echo 0 > myid
# echo 1 > myid
# echo 2 > myid

kafka配置 vim /kafka_2.12-2.7.0/config/server.properties, 主要修改 broker.id、advertised.listeners、num.partitions（这里是3台机器）、log.dirs

############################# Server Basics #############################
# broker 的全局唯一编号，不能重复 比如这里是0,1,2
broker.id=1


############################# Socket Server Settings #############################
# 配置监听,修改为本机ip
advertised.listeners=PLAINTEXT://172.16.10.91:9092   

# 处理网络请求的线程数量，默认
num.network.threads=3

# 用来处理磁盘IO的线程数量，默认
num.io.threads=8

# 发送套接字的缓冲区大小，默认
socket.send.buffer.bytes=102400

# 接收套接字的缓冲区大小，默认
socket.receive.buffer.bytes=102400

# 请求套接字的缓冲区大小，默认
socket.request.max.bytes=104857600


############################# Zookeeper #############################
# 配置三台服务zookeeper连接地址
zookeeper.connect=10.5.10.1:2181,10.5.10.2:2181,10.5.10.3:2181


############################# Log Basics #############################
# kafka 运行日志存放路径
log.dirs=/data/kafka_2.12-2.7.0/log/kafka

# topic 在当前broker上的分片个数，与broker保持一致
num.partitions=3

# 用来恢复和清理data下数据的线程数量，默认
num.recovery.threads.per.data.dir=1


############################# Log Retention Policy #############################
# segment文件保留的最长时间，超时将被删除，默认
log.retention.hours=168

# 滚动生成新的segment文件的最大时间，默认
log.roll.hours=168

三. 启动

cd xxx//kafka_2.12-2.7.0

kafka启动时先启动zookeeper，再启动kafka；关闭时相反，先关闭kafka，再关闭zookeeper

启动zookeeper

分别启动三台机器的zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties &


# 后台启动
nohup bin/zookeeper-server-start.sh config/zookeeper.properties >/data1/kafka_2.12-2.7.0/log/zookeeper/zookeeper.log 2>1 &

启动kafka

分别启动三台机器的kafka

bin/kafka-server-start.sh config/server.properties &

# 后台启动
nohup bin/kafka-server-start.sh config/server.properties >/data1/kafka_2.12-2.7.0/log/kafka/kafka.log 2>1 &
``