零：Kafka之重点概念

C_js001
144 阅读2分钟

1：为什么选择Kafka

  • 目前比较成熟的中间件有

    • ActiveMQ
    • RabbitMQ
    • Kafka
    • RocketMQ

  • 对比图

特性KafkaActiveMQRabbitMQRocketMQ
所属社区/公司ApacheApacheMozilla Public LicenseApache/Ali
生产者-消费者模式支持支持支持支持
发布-订阅支持支持支持支持
REQUEST-REPLY-支持支持支持
API完备性高高高低（静态配置）
多语言支持支持，JAVA优先支持，JAVA优先语言无关支持
单机呑吐量十万级万级万级十万级
消息延迟毫秒级-微秒级-
可用性非常高（分布式）高（主从）高（主从）高
消息丢失理论上不丢失-低-
消息重复理论上会有重复-可控制-
事务支持支持不支持支持
文档的完备性高高高中

2：重要概念

1.png

  • broker

    • 一个Kafka的集群通常由多个broker组成，这样才能实现负载均衡、以及容错
    • broker是无状态的，它们是通过Zookeeper来维护集群
    • 一个Kafka的broker每秒可以处理数十万次读写，每个broker都可以处理TB消息而不影响性能

  • zookeeper

    • ZK用来管理和协调broker，并且存储了Kafka的元数据（如，topic，partition，consumer）
    • ZK服务主要用于通知生产者和消费者Kafka集群中有新的broker加入、或者Kafka集群中出现故障的broker

  • producer（生产者）

    • 生产者负责将数据推送给broker的topic

  • consumer（消费者）

    • 消费者负责从broker的topic中拉取数据，并自己进行处理

  • consumer group（消费者组）

    • consumer group是kafka提供的可扩展且具有容错性的消费者机制
    • 一个消费者组可以包含多个消费者
    • 一个消费者组有一个唯一的ID（group Id）
    • 组内的消费者一起消费主题的所有分区数据

  • 分区（Partitions）

2.png

在Kafka集群中，主题被分为多个分区

  • 副本（Replicas）

3.png

副本可以确保某个服务器出现故障时，确保数据依然可用

在Kafka中，一般都会设计副本的个数＞1

  • 主题

4.png

-   主题是一个逻辑概念，用于生产者发布数据，消费者拉取数据
-   Kafka中的主题必须要有标识符，而且是唯一的，Kafka中可以有任意数量的主题，没有数量上的限制
-   在主题中的消息是有结构的，一般一个主题包含某一类消息
-   一旦生产者发送消息到主题中，这些消息就不能被更新（更改）

  • 偏移量（offset）

5.png

-   offset记录着下一条将要发送给Consumer的消息的序号
-   默认Kafka将offset存储在ZooKeeper中
-   在一个分区中，消息是有顺序的方式存储着，每个在分区的消费都是有一个递增的id。这个就是偏移量offset
-   偏移量在分区中才是有意义的。在分区之间，offset是没有任何意义的
avatar
文章
阅读
粉丝