大数据一锅端

Kafka 的日志存储以主题（Topic）为单位组织，每个主题可包含多个分区（Partition），每个分区对应一个日志目录，内部由多个 LogSegment 组成。LogSegment 是分区日志。

常用策略包括 RangeAssignor（范围分配）、RoundRobinAssignor（轮询分配）和 StickyAssignor（粘性分配）。RangeAssignor 按分区编号范围分配

Kafka 的分区（Partition）是实现高并发与高吞吐的核心机制，每个主题可包含多个分区，支持分布式存储与并行处理。分区内消息顺序严格保证，每条消息拥有唯一递增的偏移量（Offset），并持久化

Kafka启动再平衡机制旨在解决因Broker故障、自动Leader选举或滚动重启导致的Leader分布不均问题。初始分区分配通过手动指定Leader和Follower位置实现均衡，但运行中可能出现

Kafka 分区是实现高并发与高可用的核心机制。每个主题可被划分为多个分区，分布在不同 Broker 上，以实现水平扩展和并行处理。生产者可并发写入不同分区，消费者组内多个消费者可并行消费数据。

Kafka 的副本机制通过在多个 Broker 上复制分区数据，保障了高可用性与数据持久性。每个分区包含 1 个 Leader 副本和若干 Follower 副本，所有读写由 Leader 处理.

本文系统介绍了 Kafka 中 kafka-topics.sh 脚本的使用方法，包括创建、查看、修改、删除主题以及增加分区等基本操作。同时深入解析了分区副本的分配策略，强调跨 Broker 和跨机架

Kafka通过Topic（主题）管理消息流，每个主题可按业务分类，如订单、日志等，并可设置副本因子、保留时间和清理策略。主题下的数据以Partition（分区）为基本存储单元，分布在不同Broker上

Kafka 消息消费是数据从集群传递到应用的重要环节，由消费者（Consumer）和消费者组（Consumer Group）协作完成。消费者通过订阅或分配分区方式获取分区数据，采用拉取（Pull）

Kafka 拦截器（Interceptor）是 Kafka 0.10 引入的重要扩展机制，用于在 Producer 和 Consumer 客户端中实现定制化逻辑。Producer 拦截器

Kafka 消息发送是生产者将数据写入主题的过程，涉及消息创建、序列化、分区选择和发送。生产者构造包含主题、键（可选）、消息体、时间戳和头部信息的消息，通过序列化器将键和值转为字节数组。

Kafka Producer 在初始化时会创建 Sender 线程、RecordAccumulator 缓冲区并加载拦截器、序列化器及分区器。消息发送过程包括拦截处理、key/value 序列化。

Spring Boot 中集成 Kafka，实现消息的生产与消费。通过配置 pom.xml 和 application.yml，使用 KafkaTemplate 发送消息，@KafkaListener

Kafka 启动支持使用 -daemon 参数以守护进程方式在后台运行，避免 SSH 断开后服务终止。通过 kafka-topics.sh 可进行主题的创建、查看、删除等操作。

Kafka 在 2.X 版本中引入了诸多企业级增强，包括 Kafka Streams 的全面升级（如支持交互式查询、外连接、全局表等），Producer 和 Broker 的性能优化，以及动态配置。

Kafka 是一款高性能、可扩展的分布式消息系统，采用发布-订阅模型，具备高吞吐、低延迟、持久化存储等特性。其核心架构由生产者、Broker、消费者组成，消息以分区形式写入并消费，实现高并发处理。

Kafka 是由 LinkedIn 开发并贡献给 Apache 的高吞吐量、分布式消息队列系统。其核心特点包括分区机制、复制策略、水平扩展能力和持久化能力，适用于日志收集、异步通信、实时流处理等场景。

本节重点介绍了Redis在分布式系统中的高可用实现方案。首先回顾了Redis分布式锁、SETNX原理、Redisson工具及Java实现方式。随后系统讲解了高可用的核心理念与AP模型。

乐观锁是一种高效的并发控制机制，核心基于CAS（比较并交换）实现，假设操作间冲突概率较低。通过版本号或时间戳来判断数据是否被修改，避免传统锁的阻塞和死锁问题。

缓存系统在高并发场景下容易出现缓存穿透、缓存击穿和缓存雪崩等问题，严重时可导致数据库崩溃。 缓存穿透可通过空值缓存和布隆过滤器防御；缓存击穿则常用分布式锁、永不过期缓存或预加载机制缓解