初识kafka和zookeeper

296 阅读2分钟

一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第10天,点击查看活动详情

kafka

kafka是一个分布式数据流平台,可以运行在单服务器上也可以运行在多台服务器上形成集群。

它可以支持对点消息推送和订阅/发布。

kafka的应用:上下文解耦,削峰,数据追踪,日志聚合。日志聚合正是我最近要写的东西

kafka的安装和启动

安装前置

  1. 下载java jdk

    jdk官网,到jdk官网下载一个jdk,我用的是17版本的(如果觉得太新了可用jdk1.8版本)

  2. 配置环境变量

    jdk安装完成之后,配置一下环境变量。以便kafka和zookeeper可以访问到,如下:

    win系统不知道如何达赖环境变量的话可以 按住win键,输入env搜索

    然后如下图:

jdk-env.png

kafuka是基于java的。所以需要用jdk编译。

安装

  1. 官网下载kafka的包,建议使用稳定版本。注意下载二进制的包(夏总速度有点慢,有条件可以开代理)

download-kafka.png

  1. 下载完毕之后解压到任意文件夹。

    todo...

接着修改配置文件(2个文件)

  1. 我当前3.1.0版本的日志配置文件在config/server.properties

kafka-data-conf2.png

  1. 我当前3.1.0版本的数据配置文件在config/zookeeper.properties。修改一下文件存放位置dataDir

kafka-data-conf.png

启动

到安装目录的bin文件夹下,启动kafka-server-start.bat并指明配置文件servier.properties

启动命令例如(在安装包文件)bin\windows\kafka-server-start.bat servier.properties

kafka-run.png

zookeeper

分布式的注册中心。可以去实现分布式锁和服务注册发现。我们zooleeper来配合kafka使用。

安装和启动

前置安装

(同样需要安装jdk,前面已经安装就不需要再操作一次了,这里就提一下)

安装

  1. 下载软件包

    zookeeper下载地址,下载当前的稳定版本。注意不要下载到源码了,源码不能直接运行。

zookeeper-install.png

  1. 下载完毕之后解压到任意文件夹。

    todo...

修改配置文件(2个文件)

  1. 配置文件在:安装包的conf/log4j.properties,修改日志保存位置

zookeeper-log-conf.png

  1. 配置文件在:安装包的conf/zoo_sample.cfg,修改数据保存位置

zookeeper-data-conf.png

启动

在cmd中进入到bin目录下,运行zkServer.cmd文件。如果要报错(百度一下看看...)

zookeeper-run.png

end

zookeeper是kafka的前置安装,要运行kafka需要先运行zookeeper