Kafka介绍 | 青训营笔记

爱情码头
91 阅读1分钟

这是我参与「第四届青训营」笔记创作活动的的第11天

一、消息队列概述

1.1消息队列的应用场景

  • MQ消息通道

image.png

  • EventBridge 事件总线

image.png 事件源:将云服务、自定义应用、SaaS应用等应用程序产生的事件消息发布到事件集。

事件集:存储接收到的事件消息，并根据事件规则将事件消息路由到事件目标。

事件目标:消费事件消息。

  • Data Platform 流数据平台

image.png

  1. 提供批流数据处理能力
  2. 各类组件提供各类Connect
  3. 提供Streaming/Function能力
  4. 根据数据schema灵活的进行数据预处理

2.主流消息队列的相关介绍

image.png

二、Kafka 详解

2.1 Kafka架构介绍

image.png

  • Zookeeper

image.png

  • Broker

image.png

  • Controller 选举

image.png

  • Controller 作用

image.png

  • Coordinator

image.png

2.2 Kafka高可用

image.png

  • Kafka副本 ISR 机制

image.png

  • Kafka写入Ack机制

image.png

  • Kafka如何保证消息不丢？

image.png

  • Kafka副本同步

image.png

  • Kafka副本选举

image.png

2.3 Kafka集群扩缩容

image.png

  • Kafka 集群扩容步骤

image.png

  • Kafka 集群缩容步骤 image.png
  • Kafka 集群扩缩容问题

image.png

2.4 Kafka未来演进之路

image.png

  • Kafka去除zk依赖

image.png

  • Kafka 依赖KRaft

image.png

2.5 Kafka运维/调优经验介绍

image.png

  • Kafka单机吞吐

image.png

  • Kafka集群参数配置

image.png

  • 扩缩容优化

image.png

  • 指标可视化

image.png

avatar
文章
阅读
粉丝