kafka 安装部署,使用教程

1,767 阅读2分钟

第1步:准备环境

1.centos 7 
2.jdk
3.zookeeper

第2步:下载解压kafka 安装包:

Scala 2.11 点击下载

tar -xzf kafka_2.11-1.0.1.tgz

cd kafka_2.11-1.0.1

第3步:启动服务器

⑴ .Kafka使用ZooKeeper,因此如果您还没有ZooKeeper服务器,您需要首先启动ZooKeeper服务器。您可以使用与kafka打包在一起的便捷脚本来获得快速且简单的单节点ZooKeeper实例。
> bin/zookeeper-server-start.sh config/zookeeper.properties
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...

⑵. 现在启动Kafka服务器:
> bin/kafka-server-start.sh config/server.properties
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...

第4步:创建一个主题

⑴ .我们用一个分区和一个副本创建一个名为“test”的主题:
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
⑵. 如果我们运行list topic命令,我们现在可以看到该主题:
> bin/kafka-topics.sh --list --zookeeper localhost:2181
test 
或者,您也可以将代理配置为在发布不存在的主题时自动创建主题,而不是手动创建主题。

第5步:发送一些消息

⑴ .Kafka附带一个命令行客户端,它将从文件或标准输入中获取输入,并将其作为消息发送到Kafka集群。默认情况下,每行将作为单独的消息发送。
运行生产者,然后在控制台中输入几条消息发送到服务器。
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

第6步:启动消费者

卡夫卡也有一个命令行消费者,将消息转储到标准输出。
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
This is a message
This is another message

远程连接出现问题时修改下方配置文件:confing/server.properties