Kafka消费过程分析
kafka提供了两套consumer API：高级Consumer API和低级API。
1.高级API
- 高级API优点高级API 写起来简单不需要自行去管理offset，系统通过zookeeper自行管理。不需要管理分区，副本等情况，系统自动管理。消费者断线会自动根据上一次记录在zookeeper中的offset去接着获取数据（默认设置1分钟更新一下zookeeper中存的offset）。可以使用group来区分对同一个topic 的不同程序访问分离开来（不同的group记录不同的offset，这样不同程序读取同一个topic才不会因为offset互相影响）。
- 高级API缺点不能自行控制offset（对于某些特殊需求来说）不能细化控制如分区、副本、zk等
2. 低级API
- 低级 API 优点能够让开发者自己控制offset，想从哪里读取就从哪里读取。自行控制连接分区，对分区自定义进行负载均衡对zookeeper的依赖性降低（如：offset不一定非要靠zk存储，自行存储offset即可，比如存在文件或者内存中）
- 低级API缺点太过复杂，需要自行控制offset，连接哪个分区，找到分区leader 等。
3. 消费者组consumer采用pull（拉）模式从broker中读取数据。
4.消费者组案例
1．需求测试同一个消费者组中的消费者，同一时刻只能有一个消费者消费。
2．案例实操
（1）在cdh1、cdh2上修改/develop/kafka/config/consumer.properties配置文件中的group.id属性为任意组名。
[xiaoxue@cdh3 config]$ vi consumer.propertiesgroup.id=xiaoxue
（2）在cdh1、cdh2上分别启动消费者
[xiaoxue@cdh2 kafka]$ bin/kafka-console-consumer.sh –zookeeper cdh2:2181 --topic first --consumer.config config/consumer.properties
[xiaoxue@cdh3 kafka]$ bin/kafka-console-consumer.sh --zookeeper cdh2:2181 --topic first --consumer.config config/consumer.properties
（3）在cdh4上启动生产者
[xiaoxue@cdh4 kafka]$ bin/kafka-console-producer.sh --broker-list cdh2:9092 --topic first
> hello world
（4）查看cdh2和cdh的接收者。同一时刻只有一个消费者接收到消息。
