消息队列 Kafka | 青训营笔记

52 阅读1分钟

消息队列-Kafka

使用Kafka

创建集群->新增Topic->编写生产者逻辑->编写消费者逻辑

Producer:生产者,负责将业务消息发送到Topic中

Cluster:物理集群,每个集群中科院建立多个不同的Topic

Topic:逻辑队列,不同的Topic可以建立不同的Topic(Topic里面包含众多的Partition)

ConsumerGroup:消费者组,不同组Consumer消费进度互不干涉,包含许多Consumer。

Consumer:消费者,负责消费Topic中的消息。

Offset:消息在partition内的相对位置信息,可以理解为唯一ID,在partition内部严重递增。

Replica:每个Partition里面有多个Replica,Leader Replica将会从ISR中选出。

在Cluster中,存在许多的Broker,在Broker的集合汇总可以称为ZooKeeper,其负责存储集群元信息,包括分区分配信息等。

批量发送,从而减少IO次数,加强发送能力。(但是一个很大块的大文件,就可能没有能够及时的发送)

解决:通过压缩的能力发送。需要存储到本地磁盘中,通过日志的方式。