兔年第一天,小白,kafka入门安排上

60 阅读2分钟

我正在参加「兔了个兔」创意投稿大赛,详情请看:「兔了个兔」创意投稿大赛

简介

Apache Kafka 是一种分布式数据存储,经过优化以实时提取和处理流数据。流数据是指由数千个数据源持续生成的数据,通常可同时发送数据记录。流平台需要处理这些持续流入的数据,按照顺序逐步处理。

Kafka 为其用户提供三项主要功能:

  • 发布和订阅记录流
  • 按照记录的生成顺序高效地存储记录流
  • 实时处理记录流

Kafka 主要用于构建适应数据流的实时流数据管道和应用程序。它结合了消息收发、存储和流处理功能,能够存储历史和实时数据。

  为什么使用 Kafka?

Kafka 用于构建实时流数据管道和实时流应用程序。数据管道在不同系统之间可靠处理和移动数据,而流应用程序是消耗数据流的应用程序。

原理

Kafka 结合了两种消息收发模型、列队和发布-订阅,以向客户提供其各自的主要优势。通过列队可以跨多个使用器实例分发数据处理

image.png

image.png

简单操作一下

1、安装 brew install kafka
2、端口 listeners=PLAINTEXT://localhost:9092
3、启动 zookeeper brew services start zookeeper
4、启动kafka brew services start kafka
5、创建 topic kafka-topics --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test
6、生产消息 kafka-console-producer --broker-list localhost:9092 --topic test
7、消费消息 kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning
8、关闭 kafka ```kafka-server-stop```
9、关闭 zookeeper ```zookeeper-server-stop```

生产/消费消息 演示

Kapture 2023-01-06 at 18.08.19.gif

  • ps 这是最简单 入门了 希望可以帮你入门 ~

参考