-
Producer:生产者,也就是发送消息的一方。生产者负责创建消息,然后将其投递到Kafka中。
-
Consumer:消费者,也就是接收消息的一方。消费者连接到Kafka上并接收消息,进而进行相应的业务逻辑处理。
-
Broker:服务代理节点。对于Kafka而言,Broker可以简单地看作一个独立的Kafka服务节点或Kafka服务实例。一个或多个Broker组成了一个Kafka集群
-
Topic:主题,Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到Kafka集群中的每一条消息都要指定一个主题),而消费者负责订阅主题并进行消费。
-
Partition:分区,Kafka中的分区可以分布在不同的服务器(broker)上
-
Replica:副本,通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同的消息(在同一时刻,副本之间并非完全一样)。副本之间是“一主多从”的关系,其中leader副本负责处理读写请求,follower副本只负责与leader副本的消息同步。副本处于不同的broker中,当leader副本出现故障时,从follower副本中重新选举新的leader副本对外提供服务。Kafka通过多副本机制实现了故障的自动转移,当Kafka集群中某个broker失效时仍然能保证服务可用。
-
AR(Assigned Replicas):分区中的所有副本统称为AR,AR=ISR+OSR
-
ISR(In-Sync Replicas):所有与leader副本保持一定程度同步的副本(包括leader副本在内)组成ISR(In-Sync Replicas)
-
OSR(Out-of-Sync Replicas):与leader副本同步滞后过多的副本(不包括leader副本)组成OSR(Out-of-Sync Replicas)
-
HW:是High Watermark的缩写,俗称高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息。
-
LEO:是Log End Offset的缩写,它标识当前日志文件中下一条待写入消息的offset