本文已参与「新人创作礼」活动, 一起开启掘金创作之路。
kafka架构中各个模块内容的作用
kafka是⼀个分布式的,分区的消息(官⽅称之为commit log)服务。它提供⼀个消息系统应该 具备的功能,但是确有着独特的设计。可以这样来说,Kafka借鉴了JMS规范的思想,但是确 并没有完全遵循JMS规范。 ⾸先,让我们来看⼀下基础的消息(Message)相关术语:
Broker 消息中间件处理节点,⼀个Kafka节点就是⼀个broker,⼀个或者 多个Broker可以组成⼀个Kafka集群 Topic Kafka根据topic对消息进⾏归类,发布到Kafka集群的每条消息都需 要指定⼀个topic Producer 消息⽣产者,向Broker发送消息的客户端 Consumer 消息消费者,从Broker读取消息的客户端 ConsumerGroup 每个Consumer属于⼀个特定的Consumer Group,⼀条消息可以 被多个不同的Consumer Group消费,但是⼀个Consumer Group 中只能有⼀个Consumer能够消费该消息 Partition 物理上的概念,⼀个topic可以分为多个partition,每个partition内 部消息是有序的
因此,从⼀个较⾼的层⾯上来看,producer通过⽹络发送消息到Kafka集群,然后consumer 来进⾏消费
Kafka的使⽤场景
⽇志收集:
⼀个公司可以⽤Kafka收集各种服务的log,通过kafka以统⼀接⼝服务的⽅式 开放给各种consumer,例如hadoop、Hbase、Solr等。
消息系统:
解耦和⽣产者和消费者、缓存消息等。
⽤户活动跟踪:
Kafka经常被⽤来记录web⽤户或者app⽤户的各种活动,如浏览⽹⻚、 搜索、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过 订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖 掘。
运营指标:
Kafka也经常⽤来记录运营监控数据。包括收集各种分布式应⽤的数据,⽣产 各种操作的集中反馈,⽐如报警和报告。