前言
上一篇咱们安装了kafka依赖的zookeeper组件,还不清楚的同学可以看:zookeeper集群安装。
本篇咱们直接动手,完成kafka集群的安装,并验证下是否安装成功。
安装kafka
应用摘要:
Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序,很火!
Kafka官网:kafka.apache.org/
学习推荐 :orchome.com/kafka/index
官网下载 :kafka.apache.org/downloads
安装环境:
Kafka集群环境搭建,需要准备好一个zookeeper环境(集群),这个上篇已经解决。下载咱们直接到kafka官网,本地我下载的是,
说明:kafka名中的2.12是Scala语言版本,后面的是kafka版本,端口默认为9092。
安装步骤: 1.下载kafka并解压
tar zxvf kafka_2.12-2.8.1.tgz
2. 编辑配置文件
进入到config目录,编辑配置文件:server.properties
vim server.properties
其他配置可以保持默认,保持,退出;
参数说明可以参考:orchome.com/12 或者 blog.csdn.net/lizhitao/ar…
同样的操作在server-2和server-3上修改一下broker.id和各项涉及ip的,不再赘述。
3. 启动Kafka
切换到bin目录中,查看相关脚本:
回车可查看脚本的使用方法:
[root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties // -daemon:以后台方式启动
jps查看一下,kafka已经启动。日志也显示启动成功。
4. 停止Kafka
测试kafka基本的生产和消费
1、创建一个topic 名为 test
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1ons 1 --topic test
2、查看下现在的topic列表
./bin/kafka-topics.sh --list --zookeeper localhost:2181
3、开启一个生产者
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
4、另外开一个linux窗口,kafka集群中的哪个都行
创建一个消费者:
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -topic test --from-beginning
5、生者者那地方输入个消息,看看消费者能否收到
ok,已经成功。
要注意下,kafka启动默认时1G内存,机器支撑不住的话可以适当修改得小一些,
本篇到此,软件安装结束。下一篇一起探究下kafka的相关原理。