Kafka 命令汇总

1、启动

#启动zookeeper
sh zkServer.sh start
​
#zookeeper 停止
sh zkServer.sh stop
​
#启动kafka内置zookeeper
./bin/zookeeper-server-start.sh ./config/zookeeper.properties &
​
#停止zookeeper
./bin/zookeeper-server-stop.sh
​
#启动kafka
./bin/kafka-server-start.sh -daemon ./config/server.properties
​
#停止kafka
./bin/kafka-server-stop.sh 

2、各种命令

#创建topic
./bin/kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic GATEWAY.SQL.CALL
​
--create 创建主题
​
--topic 主题名称
​
-zookeeper zookeeper集群地址
​
--replication-factor  每个分区副本因子个数即每个分区有多少副本
​
--partitions  主题partition数量
​
#查看所有主题
./bin/kafka-topics.sh --list --zookeeper 172.30.43.243:2181
​
#查看指定主题
./bin/kafka-topics.sh --describe --zookeeper 172.21.0.239:2181 --topic GATEWAY.API.CALL
​
#查看所有消费组
./bin/kafka-consumer-groups.sh  --new-consumer  --bootstrap-server `hostname -i`:9092 --list
​
#查看消费组的消费情况
./bin/kafka-consumer-groups.sh --bootstrap-server `hostname -i`:9092 --describe --group=ddc.notify
 
# 如果需要从头开始接收数据，需要添加--from-beginning参数
./bin/kafka-console-consumer.sh --bootstrap-server `hostname -i`:9092 --from-beginning --topic GATEWAY.SQL.CALL
​
./bin/kafka-console-consumer.sh --bootstrap-server `hostname -i`:9092 --from-beginning --topic GATEWAY.API.CALL --max-messages 1 --property print.timestamp=true
​
#生产者
./bin/kafka-console-producer.sh --broker-list `hostname`:9092 --topic GATEWAY.SQL.CALL
​
#查看topic 大小
./bin/kafka-log-dirs.sh --describe --bootstrap-server `hostname -i`:9092 -topic-list GATEWAY.SQL.CALL
​
./bin/kafka-log-dirs.sh --describe --bootstrap-server `hostname -i`:9092 -topic-list GATEWAY.API.CALL
​
#修改 topic 配置
./bin/kafka-topics.sh --zookeeper 172.30.43.246:2181  --alter --topic DDC.TASK.EXPORT.DATA.SPICE --config retention.bytes=104857600 --config segment.bytes=104857600
​
./bin/kafka-topics.sh --zookeeper 172.30.43.246:2181  --alter --topic GATEWAY.SQL.CALL --config retention.bytes=5368709120 --config segment.bytes=1073741824
​
./bin/kafka-topics.sh --zookeeper 172.21.0.239:2181  --alter --topic GATEWAY.API.CALL --config retention.bytes=5368709120 --config segment.bytes=1073741824
​
​
#删除topic所有数据，使用命令
./bin/kafka-topics.sh --delete --topic test --bootstrap-server `hostname -i`:9092
​
#生成消息
bin/kafka-console-producer.sh --broker-list `hostname -i`:9092 --topic test