在这本小册中，贝壳找房商业化广告中台技术负责人甘罗，将带你从0到1搭建一个工业级可用的异构数据双向流式处理平台！

本文面试情节虚假，但知识真实，请在家人或者朋友的陪同下仔细观看，防止在观看的过程发呆、走神导致没学到知识

Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。 Broker丢失消息是由于Kafka本身的原因造成的，kafka为了得到更高的性能和吞吐量，将数据异步批量的存储在磁盘中。消息的刷盘过程，为了提高性能，减少刷盘次数，kafka采…

上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。 在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建…

在这一篇文章中，我将向你介绍消费者的一些参数。 这些参数影响了每次poll()请求的数据量，以及等待时间。 在这之后，我将向你介绍Kafka用来保证消费者扩展性以及可用性的设计——消费者组。 在消费者组的介绍中，我将重点放在了Rebalance的过程上，因为这是一个很重要又经常…

应用程序使用 KafkaConsumer向 Kafka 订阅主题，并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。如果不先理解 这些概念，就难以理解如何使用消费者 API。所以我们接下来先解释这些重要的概念，然 后…

在正式讨论Apache Kafka (以下简称Kafka)之前，先来了解发布与订阅消息系统的概念， 并认识这个系统的重要性。数据(消息)的发送者(发布者)不会直接把消息发送给接收 者，这是发布与订阅消息系统的一个特点。发布者以某种方式对消息进行分类，接收者 (订阅者)订阅它们，…

设计 kafka 初衷，作为统一平台处理大公司的实时数据。所以 必须具有如下特性： kafka 高度依赖 文件系统 存储和缓存消息。通过对磁盘的顺序读写，并借助 OS 层面的 页缓存（page cache），保证优于缓存在内存中或其他结构中。 利用磁盘的顺序读写，操作一个文件，…