简介ApacheKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志

kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群…

之前有听过 Zero-Copy 技术，而 Kafka 是典型的使用者。网上找了找，竟然没有找到合适的介绍文章。正好这段时间正在阅读 Kafka 的相关代码，于是有了这篇内容。这篇文章会简要介绍 Zero-Copy 技术在 Kafka 的使用情况，希望能给大家一定借鉴和学习样例。

Kafka适合离线和在线的消息消费,其消息保存在磁盘上。 Kafka以Topic为单位进行消息的归纳,Producers向Topic发送(Push)消息,Consumers会消费(Pull)预订了Topic的消息。 Broker:一个单独的Kafka server就是一个Bro…

Apache Kafka 是一个高度可扩展的消息系统，在 LinkedIn 的中心数据管道中扮演着关键角色。原文链接：http://www.infoq.com/cn/articles/kafka-ecology-of-linkedin

当你的系统每天要实时从 MySQL 到 Kafka 发布几十亿条消息时，你会怎么管理这些数据的模式信息呢？当你的系统要接入几百个服务时，你就要处理几千种不同的模式，手工管理是不可行的。必须有自动化的方案来处理从上游数据源到所有下游消费者的模式改变问题。Confluent 公司的 Schema Registry 和 Kafka Connect 都是不错的选择，可惜当我们开始构建 Yelp 数据管道时它们还没发布。因此就有了我们的 Schematizer。

近几年， Apache Kafka 的应用有了显著的增长。Kafka 最新的客户包括 Uber, Twitter, Netflix, LinkedIn, Yahoo, Cisco, Goldman Sachs 等。Kafka 是个高可扩展的生产消费者系统。利用 Kafka 系统，用户可以发布大量的消息， 同时也能实时订阅消费消息。本文旨在说明 Kafka 如何在大数据生态系统中扮演越来越重要的角色。

　Kafka 是由 LinkedIn 开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与 Cloudera Hadoop，Apache Storm，Apache Spark 集成。本文介绍了 Kafka 的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了 Kafka 的架构，Producer 消息路由，Consumer Group 以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了 Kafka Consumer 为何使用 pull 模式以及 Kafka 提供的三种 delivery guarantee。

Kafka 结合 SparkStreaming 开发