24年继续更新，收藏快400，不来看看吗？一本完善并有体系化的Kafka理论知识宝典，我会持续更新的，希望能帮到大家！

消息丢失和消息重复消费这两个情况，相信是业务工程师在使用 Kafka 的时候最害怕的事情，今天我们就聊这两个问题。

Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用 Scala 语言编写，目前是 Apache 的开源项目，也是目前较为主流的消息列队。作用吗和其他

Kafka 是个大家伙，本篇将通过40道问答作为路线，由浅入深，最大程度上覆盖整个 Kafka 的问答内容（预习＋复习一步到位）

Kafka 是一个分布式的、发布-订阅式消息中间件。最初是由 Linkedin 领英公司基于 Scala 和 Java 语言开发的分布式消息系统，现已捐献给 Apache 软件基金会。事实上 Kafk

消息中间件能做什么 消息中间件主要解决的就是分布式系统之间消息传递的问题，它能够屏蔽各种平台以及协议之间的特性，实现应用程序之间的协同。举个非常简单的例子，就拿一个电商平台的注册功能来简单分析下，用户

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 组订阅发生变更，比如基于正则表达式订阅，当匹配到新的topic创建时，组的订阅就会发生变更。 组的topic分区数发生变更，通过命令行脚本增加了订阅topic的分区数。 组…

众所周知，消息队列的产品有好几种，这里我选择学习Kafka的原因，无他，公司在用。 下面我以Kafka为例对这些问题进行简单的解答，进而入门Kafka。 众所周知，Kafka是一个消息队列，把消息放到队列里边的叫生产者，从队列里边消费的叫消费者。 一个消息中间件，队列不单单只有…

近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系…