Linux下kafka安装教程

414 阅读3分钟

最近项目中使用到kafka消息队列,由于之前“只知其人,不见其貌”,所以决定利用这个机会,梳理一下kafka在linux环境下的相关安装使用教程

  • 安装jdk
  • 下载安装zookeeper
  • 下载安装kafka

一、linux下的jdk安装

安装kafka之前需要先安装jdk,首先我们先确认系统是否安装Java,通过以下命令进行确认

`rpm -qa | grep java`

`rpm -qa | grep jdk`

或者终端中直接执行`Java -version`

如图:

image.png

如果没有安装过Java,登陆到oracle官方网站,跳转到下载页面:<https://www.oracle.com/java/technologies/downloads/>

选择需要下载的平台对应的jdk版本,这里我们选择linux的jdk11.0.3的压缩版本

image.png

下载完成后,在/usr/local下新建java路径,创建好Java路径后并将jdk移动到java下

image.png sudo mv jdk-11.0.13_linux-x64_bin.tar.gz java/

image.png

执行解压命令`tar -zxvf jdk-11.0.13_linux-x64_bin.tar.gz java`将jdk-11.0.13_linux-x64_bin.tar.gz压缩包解压到java路径下

image.png

image.png

执行解压完成后,需要配置环境变量,执行命令:`sudo vim /etc/profile`,在文件中添加如下配置:

image.png

保存退出后,执行:`source /etc/profil`e命令,重新编译profile文件

image.png

在终端中输入`Java -version`验证是否安装成功

image.png

二、zookeeper安装

1、官网下载zookeeper压缩包,下载地址:<https://zookeeper.apache.org/releases.html>

image.png

解压缩到/usr/local/zookeeper路径下

image.png

在/apache-zookeeper-3.6.3-bin/conf/下将zoo_sample.cfg复制一份:`cp zoo_sample.cfg zoo.cfg`并修改zoo.cfg文件,指定data路径(需先创建相关路径)

image.png

2、执行命令启动zookeeper

image.png

image.png

三、kafka安装

打开官网下载kafka压缩包,下载地址:<http://kafka.apache.org/downloads>

image.png

下载完成后,将压缩包移动到 **/usr/local/kafka**(无/kafka路径需现在/usr/local下新建路径,同上面在 **/usr/local**下新建Java路径),打开终端执行命令`sudo tar -xzvf kafka_2.13-2.8.1.tgz`解压缩kafka_2.13-2.8.1.tgz

image.png

进入到 **/kakfa_2.13-2.8.1/config**下

image.png

修改server.propertier配置文件,broker.id修改为1(在集群中唯一值,不可重复)

image.png

修改listeners的ip地址(根据自己实际ip地址进行替换,如果只是本机访问可改为listeners=PLAINTEXT:127.0.0.1:9092),修改日志保存到指定位置:

image.png

四、验证kafka

1、打开终端,执行命令,启动kafka

image.png

image.png

kafka启动成功后,执行命令 `./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkaproducer1`

image.png

2、查看topic,在终端中输入命令,查看topic列表

image.png

3、创建producer,终端命令`./kafka-console-producer.sh --broker-list 192.168.72.128:9092 --topic kafkaproducer1`打开消息生产者控制台

image.png

在控制台输入“hello kafka!!!”

image.png

4、消费消息,打开一个新的窗口,执行命令:`./kafka-console-consumer.sh --bootstrap-server 192.168.72.128:9092 --topic kafkaproducer1 --from-beginning`,打开消息消费控制台

image.png

在kafka消息生产者控制台输入“hello kafka!!!”,消费消息的控制台会接收并消费该消息

image.png

image.png

五、后记

本篇主要介绍了kafka在linux环境下的安装于配置,首先安装之前要确认环境是否安装需要的依赖,先安装配置Java环境,其次安装配置zookeeper,最后安装配置kafka,并验证kafka。
**tips:**
在启动zookeeper和kafka过程中,会出现如下问题
启动zookeeper时,出现权限问题

image.png

启动kafka时,报错如下:

image.png

这是因为/usr/local下的zookeeper和kafka文件夹的用户属组是root

image.png

解决办法:
修改kafka和zookeeper的文件权限,终端执行命令:

image.png

标记处为当前的登陆用户名(如:user):`sudo chown -R user:user ./zookeeper`修改完成后,重新启动zookeeper和kafka

image.png

image.png