kafka系列
5篇文章 · 0订阅
  • Kafka 系列（五）—— 深入理解 Kafka 副本机制
    Kafka 使用 Zookeeper 来维护集群成员 (brokers) 的信息。每个 broker 都有一个唯一标识 broker.id，用于标识自己在集群中的身份，可以在配置文件 server.properties 中进行配置，或者由程序自动生成。下面是 Kafka bro…
    Kafka
  • Kafka 系列（四）—— Kafka 消费者详解
    在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消费…
    Kafka
  • Kafka 系列（三）—— Kafka 生产者详解
    Kafka 会将发送消息包装为 ProducerRecord 对象， ProducerRecord 对象包含了目标主题和要发送的内容，同时还可以指定键和分区。在发送 ProducerRecord 对象前，生产者会先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。 接下…
    Kafka
  • Kafka 系列（二）—— 基于 ZooKeeper 搭建 Kafka 高可用集群
    为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。 下载对应版本 Zookeeper，这里我下载的版本 3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/ …
    Kafka
  • Kafka 系列（一）—— Kafka 简介
    ApacheKafka 是一个分布式的流处理平台。它具有以下特点： 高吞吐率，单 Broker 可以轻松处理数千个分区以及每秒百万级的消息量。 Kafka 的基本数据单元被称为 message(消息)，为减少网络开销，提高效率，多个消息会被放入同一批次 (Batch) 中后再写…
    Kafka