zookeeper原理&集成开发环境搭建

前言-理论

有待补充

环境部署

jdk 1.8.0_151

zookeeper-3.5.9

kafka_2.11-2.4.1 scala版 2.11

10.0.20.181， 10.0.20.182，10.0.20.183

部署前期准备

三台服务器互通ping/免密登录，参考hadoop搭建前期准备 juejin.cn/post/694835…

！注意：三台机器时钟同步。！注意版本问题。

下载安装包kafka.apache.org/ 通过老方法xftp传输安装包

安装zookeeper步骤

解压缩

tar -xzvf kafka_2.11-2.4.1.tgz -C /usr/local

换名字

mv kafka_2.11-2.4.1 kafka-2.4.1

环境变量

进入 vim /etc/profile

export KAFKA_HOME=/usr/local/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

立即执行 source /etc/profile

配置文件

进入 cd /usr/local/kafka-2.4.1/config

vim server.properties

更改几个变量

broker = 0/ broker = 1/ broker = 2 对应 master/ slave1/ slave2
监听
listeners=PLAINTEXT://10.0.20.181:9092
advertised.listeners=PLAINTEXT://10.0.20.181:9092
信息存储地址 
log.dirs=/home/projet/kafka/logs
分区数 可改可不改 根据项目
num.partitions=3
zookeeper连接
zookeeper.connect=10.0.20.181:2181,10.0.20.182:2181,10.0.20.183:2181
加上host.nmae=10.0.20.181

listeners是kafka真正bind的地址

advertised.listeners是暴露给外部的listeners，如果没有设置，会用listeners

创建信息存储地址 cd /home/projet/kafka/, mkdir logs

配置集群slave1、slave2

将master的zookeeper跨机复制到 slave1和slave2

scp -r /usr/local/kafka-2.4.1 slave1:/usr/local

scp -r /usr/local/kafka-2.4.1 slave2:/usr/local

在cd /home/projet/kafka里 mkdir logs

别忘了更改 broker id 和 host.name 的对应关系

启动/停止/查看状态/jps/创建topic/查看/等操作

启动zookeeper，

进入zookeeper，cd /usr/local/zookeeper-3.5.9

启动 bin/zkServer.sh start

启动kafka

进入kafka， cd /usr/local/kafka-2.4.1

启动kafka bin/kafka-server-start.sh -daemon config/server.properties

-daemon 守护进程

创建 topic 单线模式

bin/kafka-topics.sh --create --zookeeper 10.0.20.181:2181 --replication-factor 1 --partitions 3 --topic test_1

创建 topic 集群模式

bin/kafka-topics.sh --create --zookeeper 10.0.20.181:2181,10.0.20.182:2181,10.0.20.183:2181 --replication-factor 1 --partitions 3 --topic test_1

复刻数 --replication-factor，分区数 --partitions 3，主题 --topic

查看topic详细信息/ 查看topic 列表

查看 topic详细信息

bin/kafka-topics.sh --zookeeper 10.0.20.181:2181 --topic test_1 --describe

查看topic列表

bin/kafka-topics.sh --zookeeper 10.0.20.181:2181 --topic test_1 --list

创建消费者

bin/kafka-console-consumer.sh --bootstrap-server 10.0.20.181:9092 --topic test_1 --from-beginning

小白实习笔记-大数据开发集群环境搭建——kafka篇scala