Spark Streaming 支持多种实时输入源数据的读取，其中包括 Kafka、flume、socket 流等等。除了 Kafka 以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注 Spark Streaming 读取 Kafka 数据的方式。

从一个消息流开始的生产者发送，到kafka服务存储，再到消费者消费这三大模块分析kafka对于不丢失消息机制的剖析，也包括实践中一些配置参数的解析

1）使用同步模式的时候，有3种状态保证消息被安全生产，在配置为1（只保证写入leader成功）的话，如果刚好leader partition挂了，数据就会丢失。 2）还有一种情况可能会丢失消息，就是使用异步模式的时候，当缓冲区满了，如果配置为0（还没有收到确认的情况下，缓冲池一…

本文耗时一天的学习整理，输出文字 7700字。 前面讲解了 Kafka 的生产者，而与生产对应的就是消费者，本文将对消费者客户端进行详细讲解。