kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。 使用Spring创…

导语：Apache Kafka凭借其高吞吐、高可靠等特性在实时数据或流式数据架构中扮演着重要角色，受到了众多企业用户的青睐。但是随着云时代来临，公有云厂商纷纷推出消息队列服务，很多用户也逐渐从自建消息集群过渡到使用云上消息队列服务。本文将以蘑菇街Kafka服务迁移上云为例，阐述…

因为Kafka的源码阅读是需要对Java NIO知识有一定的了解的，所以怎么说，如果觉得自己对于Java这块算是比较熟悉，同样作为插曲篇的这篇是可以直接忽略。因为这篇也不会涉及什么重难点，主要还是过过基础，让后面的源码篇读起来更加通畅。 Java New IO是从Java1.4…

Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。…

众所周知，消息队列的产品有好几种，这里我选择学习Kafka的原因，无他，公司在用。 下面我以Kafka为例对这些问题进行简单的解答，进而入门Kafka。 众所周知，Kafka是一个消息队列，把消息放到队列里边的叫生产者，从队列里边消费的叫消费者。 一个消息中间件，队列不单单只有…

Kafka通过offset保证消息在分区内的顺序，offset的顺序性不跨分区。Kafka0.10以后，使用一个专门的topic __consumer_offset保存offset。__consumer_offset日志留存方式为compact，也就是说，该topic会对key…

很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型。

我们在《360度测试：KAFKA会丢数据么？其高可用是否满足需求？》这篇文章中，详细说明了KAFKA是否适合用在业务系统中。但有些朋友，还不知道KAFKA为何物，以及它为何存在。这在工作和面试中是比较吃亏的，因为不知道什么时候起，KAFKA似乎成了一种工程师的必备技能。 从 0…

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、s…