前面几篇文章讲述了 LogManager 的实现、Produce 请求、Fetch 请求的处理以及副本同步机制的实现，Kafka 存储层的主要内容基本上算是讲完了（还有几个小块的内容后面会结合 Controller 再详细介绍）。

Spark Streaming 的原理说明的文章很多，这里不做介绍。本文主要介绍使用 Kafka 作为数据源的编程模型, 编码实践, 以及一些优化说明。

Apache Kafka最早是由LinkedIn开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始，Kafka的标语已经从“一个高吞吐量，分布式的消息系统”改为"一个分布式流平台"…

在过去的几年中，Apache Kafka 的功能和覆盖范围已经有了很大的提高。500强公司中有三分之一在使用 Kafka，包括全球 Top10 银行中的7家、Top10 保险公司中的8家、美国 Top10 电信公司中的9家。 首先我们看一下 Kafka 提供的2个核心功能： 消…

今天有很多的消息传递技术, 数不清的 ESBs, 和近 100 iPaaS 供应商在市场上。 自然，这导致了有关如何为您的需要 - 特别是那些已经投资在一个特定的选择，选择正确的消息传递技术的问题 。我们批发选择吗? 用正确的工具做正确的工作? 我们有没有正确地布置手头的工作以满足业务需求? 鉴于此，对我来说，合适的工具是什么? 更糟糕的是，详尽的市场分析可能永远无法完成，但由于集成代码的平均寿命，尽职调查是至关重要的。

本文主要解析一下遇到的一个kafka consumer offset lag不断增大的异常。 一开始看异常日志，找到这个，加上上面的jstack，看到ConsumerFetcherThread一直blocking在PartitionTopicInfo.enqueue，有点怀疑是…

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、s…

　Kafka 是由 LinkedIn 开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与 Cloudera Hadoop，Apache Storm，Apache Spark 集成。本文介绍了 Kafka 的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了 Kafka 的架构，Producer 消息路由，Consumer Group 以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了 Kafka Consumer 为何使用 pull 模式以及 Kafka 提供的三种 delivery guarantee。

直接运行Kafka.scala中的main方法（需要指定启动参数，也就是server.properties的位置）来启动Kafka。因为kafka依赖zookeeper，所以我们需要提前启动zookeeper，然后在server.properties中指定zk地址后，启动。 g…