大数据项目笔记(4):虚拟机搭建项目二kafka环境 | 青训营笔记

172 阅读2分钟

这是我参与「第四届青训营 」笔记创作活动的的第7天

上一篇的文章,我们配置了虚拟据的Java环境大数据项目笔记(3):虚拟机搭建项目二java环境 | 青训营笔记 - 掘金 (juejin.cn),现在我们需要对于Kafka的环境也进行一个配置,以便程序可以正常运行

下载kafka

大家点击Apache Kafka官网Apache Kafka,然后点击图片下方所圈起来的内容,然后进入下载页面,点击下载就行

image.png 嘶,这东西好久啊

ecfb2c7f40bc030285c9f5ade38b466.png

终于下载好了!启动你的虚拟机,然后把我们刚刚下载好的文件复制粘贴到虚拟机里面

1659969688968.png 然后先对其进行解压

1659969788802.png 其实也可以直接通过命令行
对其进行下载和解压

$ tar -xzf kafka_2.13-3.2.1.tgz
$ cd kafka_2.13-3.2.1

之后输入下列的语句,运行以下命令以正确的顺序启动所有服务:(注意:本地环境必须安装 Java 8+。)

# Start the ZooKeeper service
# Note: Soon, ZooKeeper will no longer be required by Apache Kafka.
$ bin/zookeeper-server-start.sh config/zookeeper.properties

1659970047682.png

f3e7bbbc4ca5c457af918b0eb983e4f.png 打开另一个终端会话并运行:

# Start the Kafka broker service
$ bin/kafka-server-start.sh config/server.properties

成功启动所有服务后,您将有一个基本的Kafka环境正在运行并随时可以使用。

dd51426f2ae5fbd41e31ec772625729.png 之后再打开一个终端,创建主题以存储事件,Kafka 是一个分布式事件流平台,允许您跨多台计算机读取、写入、存储和处理事件

示例事件包括支付交易、移动电话的地理位置更新、发货订单、物联网设备或医疗设备的传感器测量值等。这些事件在主题中组织和存储。非常简单,主题类似于文件系统中的文件夹,事件是该文件夹中的文件。

因此,在编写第一个事件之前,必须创建一个主题。打开另一个终端会话并运行:

$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

然后这边提示,成功创建

1659970979043.png Kafka的所有命令行工具都有其他选项:运行没有任何参数的命令以显示使用信息。例如,它还可以显示详细信息,语句为

kafka-topics.sh

运行之后,我们可以看到,这边显示了详细情况

1659971159372.png 然后我们过来将一些事件写入主题
Kafka 客户端通过网络与 Kafka 代理进行通信,以写入(或读取)事件。收到事件后,代理将以持久和容错的方式存储事件,只要需要的话,可以一直存着
运行控制台创建器客户端,将一些事件写入主题。默认情况下,输入的每一行都将导致一个单独的事件写入主题。
然后这边我就随便输了两个
这边的停止方式为,同时摁下ctrl+c 66c74cbeb15382b5feb1df83b1dd029.png 之后呢,我们可以检验这些到底输进去没有
让我们打开另一个终端并运行控制台使用者客户端以读取刚创建的事件:

$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

1659972002076.png 结束方法还是ctrl+c
今晚就先到这吧,大家晚安