消息队列-Kafka
使用Kafka
创建集群->新增Topic->编写生产者逻辑->编写消费者逻辑
Producer:生产者,负责将业务消息发送到Topic中
Cluster:物理集群,每个集群中科院建立多个不同的Topic
Topic:逻辑队列,不同的Topic可以建立不同的Topic(Topic里面包含众多的Partition)
ConsumerGroup:消费者组,不同组Consumer消费进度互不干涉,包含许多Consumer。
Consumer:消费者,负责消费Topic中的消息。
Offset:消息在partition内的相对位置信息,可以理解为唯一ID,在partition内部严重递增。
Replica:每个Partition里面有多个Replica,Leader Replica将会从ISR中选出。
在Cluster中,存在许多的Broker,在Broker的集合汇总可以称为ZooKeeper,其负责存储集群元信息,包括分区分配信息等。
批量发送,从而减少IO次数,加强发送能力。(但是一个很大块的大文件,就可能没有能够及时的发送)
解决:通过压缩的能力发送。需要存储到本地磁盘中,通过日志的方式。