Kafka 笔记

实现集群间数据拷贝的方案有很多，MirrorMaker 是 Kafka 社区提供的方案，最主要的功能就是实现集群到集群的数据拷贝。

Apacke Kafka 安装目录中 `bin/` 中的脚本文件有很多，包括 Kafka 相关的、Kafka Connect 相关的、ZooKeeper 相关的等。本文主要介绍这些脚本中常用的几个。

Kafka 是一个基于日志结构的消息系统，而并非「队列」结构。Kafka 为消费者提供了丰富的重设位移的方式，大致可以分为针对位置重设和根据时间重设。

Kafka 还提供了一些可以动态配置的参数。注意，并非所有的参数都可以动态配置，且 Kafka 1.1 之后的版本才支持动态配置的特性。

本文主要总结 Kafka 中用来管理 Topic 的常见操作。以下操作均在 Kafka 的目录下执行，它的脚本都在 `bin/` 目录中。

实际生产中消费者组成员变化导致的 Rebalance 是最常见的，消费者组成员的依次启动也属于这种情况。

在 Kafka 中，副本是针对分区而言的。Kafka 管理着若干个 Topic，每个 Topic 有若干个分区，每个分区若干个副本（Replica）。

这一篇分析一下，什么情况下会发生 Rebalance，以及根据这些情况分析如何避免 Rebalance 频繁发生。

在消费的过程中，需要记录下每个分区中的消息「目前消费到哪一个了」，也就是 Kafka 中的消费者位移。这些位移信息都保存在什么地方呢？

消费者组就是让若干个消费者实例（Consumer Instance）形成一个消费者组，共同消费共同消费同一个或者多个 Topic 的不同 Partition 中的消息。

Kafka 中的拦截器有两种，分别是生产者拦截器和消费者拦截器。生产者拦截器可以在消息发送之前以及消息成功提交之后插入逻辑；而消费者拦截器可以在消息消费之前以及提交位移后插入逻辑。

本文讨论 Kafka 的 0 消息丢失配置的实现。首先确立问题便捷，然后分析消息丢失的原因，最后总结配置方案。

一个消息被发送到指定的 Topic 后，要进入哪个分区，需要根据一个分区策略来计算。在 Kafka 的生产者 API 中，默认的策略就是轮询策略。

针对不同业务的消息数据，我们通常需要为不同的 Topic 设置不同的参数，对于提供租户服务的 Kafka 集群更是如此。

Kafka 提供的 Broker 端配置项有 200 多个，这其中的大部分都不需要我们过多注意，这篇文章介绍一些常用到的 Broker 端 参数。

在深入了解 Kafka 之前，先了解常用的术语和概念，对之后的学习会有很大的帮助。本文简单介绍 Kafka 中常见的术语，适合刚开始接触 Kafka 的开发者。

这篇简单介绍如何在本地部署并运行 Kafka，注意，本文介绍的内容容易上手，适合新手，仅限开发、测试、学习使用，请勿用在生产环境。

Apache Kafka 是一个分布式的消息系统（Messaging System）。它是由 Java 和 Scala 编写的。

消息队列已经成为后端架构的重要组件，它提供了异步的消息发布和订阅服务。本文通过具体的场景来分析，为什么需要在系统中引入消息队列，它能带来哪些好处。