kafka
7篇文章 · 0订阅
  • 三分钟了解RocketMQ与Kafka的异同
    两者底层原理有很多相似之处，RocketMQ借鉴了Kafka的设计。 两者均利用了操作系统Page Cache的机制，同时尽可能通过顺序io降低读写的随机性，将读写集中在很小的范围内，减少缺页中断，进而减少了对磁盘的访问，提高了性能。 Kafka采用partition，每个to…
    消息队列
  • Kafka 系列（五）—— 深入理解 Kafka 副本机制
    Kafka 使用 Zookeeper 来维护集群成员 (brokers) 的信息。每个 broker 都有一个唯一标识 broker.id，用于标识自己在集群中的身份，可以在配置文件 server.properties 中进行配置，或者由程序自动生成。下面是 Kafka bro…
    Kafka
  • Kafka 系列（四）—— Kafka 消费者详解
    在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消费…
    Kafka
  • Kafka 系列（三）—— Kafka 生产者详解
    Kafka 会将发送消息包装为 ProducerRecord 对象， ProducerRecord 对象包含了目标主题和要发送的内容，同时还可以指定键和分区。在发送 ProducerRecord 对象前，生产者会先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。 接下…
    Kafka
  • Kafka 系列（二）—— 基于 ZooKeeper 搭建 Kafka 高可用集群
    为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。 下载对应版本 Zookeeper，这里我下载的版本 3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/ …
    Kafka
  • Kafka 系列（一）—— Kafka 简介
    ApacheKafka 是一个分布式的流处理平台。它具有以下特点： 高吞吐率，单 Broker 可以轻松处理数千个分区以及每秒百万级的消息量。 Kafka 的基本数据单元被称为 message(消息)，为减少网络开销，提高效率，多个消息会被放入同一批次 (Batch) 中后再写…
    Kafka
  • Kafka的消息会丢失和重复吗？——如何实现Kafka精确传递一次语义
    有很多公司因为业务要求必须保证消息不丢失、不重复的到达，比如无人机实时监控系统，当无人机闯入机场区域，我们必须立刻报警，不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢，我们是否需要复杂的逻辑来自己处理消息重复的情况呢，这种情况恐怕相当复杂而难…
    Kafka