初识kafka --安装启动

82 阅读2分钟

💬 初识kafka 👁️‍🗨️ kafka的安装及启动

  Kafka是一个开源的分布式消息队列系统,最初由LinkedIn公司开发。它可以用于构建高吞吐量、低延迟的数据管道,支持实时数据处理和流式计算。

  Kafka的核心概念是消息(Message)、主题(Topic)和分区(Partition)。消息是数据的基本单位,可以包含任何类型的数据。主题是消息的分类或分类器,将消息分配到不同的主题中以便进行处理。分区是主题的子集,每个分区都有自己的副本和控制器。当消息被写入Kafka时,它们首先被写入主分区,然后被复制到所有副本分区中。如果一个副本分区不可用,则其他副本分区会继续接收和处理该消息,从而保证数据的可靠性和可用性。

Kafka具有以下特点:

  1. 高吞吐量:Kafka可以处理数百万条消息每秒,支持大规模并发处理。
  2. 低延迟:Kafka使用异步IO模型,可以在毫秒级别内处理消息。
  3. 可扩展性:Kafka可以轻松地扩展到数千个节点,以应对不断增长的数据需求。
  4. 可靠性:Kafka通过副本机制和控制器确保数据的可靠性和可用性。
  5. 灵活性:Kafka支持多种数据格式和协议,可以与各种应用程序集成。

  初步了解了kafka的基本概念之后我们来下载安装使用。

🥖1. 官网下载:🥖

  download 在这里插入图片描述 根据官网提示 最好是下载scala 2.13相关的版本 3.4.0是最新的稳定版本 可以看到新增了一些功能还有改进了一些功能 新加的功能:

  • 禁用 JmxReporter 注册
  • 允许广播结果记录
  • 在消费者协议中添加“生成”字段
  • 基于时间的集群元数据快照

在这里插入图片描述

🍗2. 解压 🍗

  工具解压 或者命令解压 命令解压参照下方命令: 在这里插入图片描述

🍢3. 安装jdk🍢

根据提示 使用之前需要安装jdk8以上 如果没有安装的自己装一下即可 具体安装及配置网上很多这里就不详细写了

jdk下载地址www.oracle.com/java/techno…

在这里插入图片描述

🍬4. 配置kafka🍬

4.1 配置server.properties

在这里插入图片描述 进入到config文件夹里面,找到server.properties文件,进行编辑,找到log.dirs,修改这个参数的路径为: log.dirs=(安装目录\kafka-logs)

4.2 配置zookeeper.properties

进入到config文件夹里面,找到zookeeper.properties文件,进行编辑,找到dataDir,修改这个参数的路径为: dataDir=(安装目录\zookeeper-data) 配置完毕,kafka安装完成。

💤5. 启动kafka💤

在这里插入图片描述 windows kafka启动命令 (1): 打开cmd,进入kafka安装目录,执行: .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

(2): 再打开一个cmd,进入kafka安装目录,执行: .\bin\windows\kafka-server-start.bat .\config\server.properties