Docker 部署 Kafka 集群详解教程

Kafka 是一个分布式流处理平台，广泛用于构建实时数据管道和流应用。它能够处理高吞吐量的数据，并支持实时数据的发布和订阅。在本文中，我们将详细介绍如何使用 Docker 来部署 Kafka 集群，包括 Kafka 的选举原理。

前提条件

• 安装 Docker 和 Docker Compose。
• 理解 Kafka 和 Zookeeper 的基本概念。

步骤 1: 部署 Zookeeper

Kafka 使用 Zookeeper 来管理集群的元数据和 Leader 选举。首先，我们需要部署 Zookeeper。

0. 拉取 Zookeeper 镜像：

   docker pull zookeeper
   

1. 运行 Zookeeper 容器：

   docker run -d --name zookeeper -p 2181:2181 zookeeper
   

步骤 2: 部署 Kafka 集群

我们将使用 Docker Compose 来部署 Kafka 集群。

0. 创建 docker-compose.yml 文件，内容如下：

   version: '3'
   services:
   zookeeper:
     image: zookeeper
     container_name: zookeeper
     ports:
       - "2181:2181"
   kafka1:
     image: wurstmeister/kafka
     ports:
       - "9092:9092"
     environment:
       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.202
       KAFKA_CREATE_TOPICS: TestComposeTopic:4:3
       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
       KAFKA_BROKER_ID: 1
       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.202:9092
       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
     container_name: kafka01
   kafka2:
     image: wurstmeister/kafka
     ports:
       - "9093:9092"
     environment:
       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.202
       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
       KAFKA_BROKER_ID: 2
       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.202:9093
       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9093
     container_name: kafka02
   kafka3:
     image: wurstmeister/kafka
     ports:
       - "9094:9092"
     environment:
       KAFKA_ADVERTISED_HOST_NAME: 192.168.1.202
       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
       KAFKA_BROKER_ID: 3
       KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.1.202:9094
       KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9094
     container_name: kafka03
   

1. 启动 Kafka 集群：

   docker-compose up -d
   

步骤 3: 验证 Kafka 集群

0. 查看 Kafka 集群状态：

   docker exec -it kafka01 /opt/kafka/bin/kafka-topics.sh --list --zookeeper zookeeper:2181
   

1. 创建测试主题：

   docker exec -it kafka01 /opt/kafka/bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 3 --partitions 5 --topic TestTopic
   

2. 查看主题详情：

   docker exec -it kafka01 /opt/kafka/bin/kafka-topics.sh --describe --zookeeper zookeeper:2181 --topic TestTopic
   

Kafka 选举原理

控制器选举

Kafka 集群中的控制器负责管理分区和副本的领导者选举。当 Kafka 启动时，第一个启动的 Broker 会成为控制器。如果当前控制器失败，其他 Broker 会通过 Zookeeper 进行新的控制器选举 。

分区副本选举

每个 Kafka 分区都有多个副本，其中一个是领导者，其他是追随者。如果领导者失败，控制器会从 in-sync replicas (ISR) 中选举新的领导者 。

消费组选举

Kafka 消费者通过消费组协调器进行消费，消费组内会选举出一个领导者来协调消费过程 。

通过以上步骤，你可以成功地使用 Docker 部署一个 Kafka 集群，并理解其背后的选举原理。这为构建可靠的实时数据流应用程序提供了坚实的基础。