基于流批一体的改造，无论是实时还是离线都只需要维护一套计算框架，为业务开发人员、平台提供方和计算引擎的支持方节省了一半的人力资源。

本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。

副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。Cruise Control作为Kafka的运维工具，它包含了Kafka服务上下线、集群内负

了解系统的保证机制对于构建可靠的应用程序来说至关重要，这也是能够在不同条件下解释系统行为的前提。kafka做出了以下保证 kafka可以保证分区消息的顺序。如果使用同一个生产者往同一个分区写入消息，而且消息B在消息A之后写入，那么kafka可以保证消息B的偏移量比消息A的偏移量…

为了保障Prosucer发送的消息能可靠的发送到指定的Topic，Topic的每个Partition收到消息后，要向Producer发送ACK,如果Produser收到ACK，就会进行下一轮发送，否则重试。 为了提高消息的可靠性，Kafka每个Topic的partition都有…

这个是肯定的，用mq有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是刚才说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。 如果说你这个是用mq来传递非常核心的消息，比如说计费，扣费的一些消息，因为我以前设计和研发过一个公司非常核心…

当通过 Kafka 构建的系统需要提供特定的可靠性，我们对 Kafka 做了相应配置，对生产者和消费者的应用做了必要的处理之后，如何验证整个系统确实实现了期望的可靠性呢？本文介绍。 1. 概述 应用上线后，对应用和 Kafka 的指标、日志等进行监控，发现与可靠性有关的问题，进…

1. 一个消费者从一个Topic中消费数据 ： 2. 消费者群组 : 当生产者向 Topic 写入消息的速度超过了现有消费者的处理速度，此时需要对消费者进行横向伸缩，用多个消费者从同一个主题读取消息，对消息进行分流。同一个分区不能被一个组中的多个 consumer 消费。 读取…

原理至关重要，面试的时候不可能问你命令的，都是问原理，懂了原理线上如果使用kafka出了问题才可能快速定位，而不是一脸蒙圈。必须要明白原理，如果不说原理直接实战，就真成搬砖了。 创建一个TopicA的主题，3个分区分别存储在不同的服务器，注意Topic是一个逻辑上的概念。 Ka…