大数据一锅端

Kafka 消息发送是生产者将数据写入主题的过程，涉及消息创建、序列化、分区选择和发送。生产者构造包含主题、键（可选）、消息体、时间戳和头部信息的消息，通过序列化器将键和值转为字节数组。

Kafka Producer 在初始化时会创建 Sender 线程、RecordAccumulator 缓冲区并加载拦截器、序列化器及分区器。消息发送过程包括拦截处理、key/value 序列化。

Spring Boot 中集成 Kafka，实现消息的生产与消费。通过配置 pom.xml 和 application.yml，使用 KafkaTemplate 发送消息，@KafkaListener

Kafka 启动支持使用 -daemon 参数以守护进程方式在后台运行，避免 SSH 断开后服务终止。通过 kafka-topics.sh 可进行主题的创建、查看、删除等操作。

Kafka 在 2.X 版本中引入了诸多企业级增强，包括 Kafka Streams 的全面升级（如支持交互式查询、外连接、全局表等），Producer 和 Broker 的性能优化，以及动态配置。

Kafka 是一款高性能、可扩展的分布式消息系统，采用发布-订阅模型，具备高吞吐、低延迟、持久化存储等特性。其核心架构由生产者、Broker、消费者组成，消息以分区形式写入并消费，实现高并发处理。

Kafka 是由 LinkedIn 开发并贡献给 Apache 的高吞吐量、分布式消息队列系统。其核心特点包括分区机制、复制策略、水平扩展能力和持久化能力，适用于日志收集、异步通信、实时流处理等场景。

本节重点介绍了Redis在分布式系统中的高可用实现方案。首先回顾了Redis分布式锁、SETNX原理、Redisson工具及Java实现方式。随后系统讲解了高可用的核心理念与AP模型。

乐观锁是一种高效的并发控制机制，核心基于CAS（比较并交换）实现，假设操作间冲突概率较低。通过版本号或时间戳来判断数据是否被修改，避免传统锁的阻塞和死锁问题。

缓存系统在高并发场景下容易出现缓存穿透、缓存击穿和缓存雪崩等问题，严重时可导致数据库崩溃。 缓存穿透可通过空值缓存和布隆过滤器防御；缓存击穿则常用分布式锁、永不过期缓存或预加载机制缓解

Redis采用单线程+多路复用架构，通过事件驱动实现高并发处理。通信基于RESP协议，定义了简单字符串、错误、整数、批量字符串和数组五种数据格式，具有可读性强、易解析、支持二进制等优点。

Redis在理想环境下具备极高读写性能，但在实际应用中受网络、数据结构复杂度等影响。内存使用是Redis运维的核心挑战，Key数量持续增长可能导致内存耗尽。Redis提供多种内存淘汰策略。

RDB（Redis Database）是 Redis 默认的持久化方式，通过定期生成内存快照将数据保存为二进制文件 dump.rdb。当持久化触发时，Redis 主进程会 fork 子进程。

Redis 提供两种主要持久化机制：RDB 和 AOF。RDB 通过定时快照将内存数据写入磁盘，优点是恢复快、文件小，适合灾备和快速启动，但可能丢失最后一次快照后的数据。

Redis 提供了类似 MySQL 的慢查询日志机制，用于记录执行时间超过指定阈值的命令，帮助开发者分析性能瓶颈与系统异常。通过配置 slowlog-log-slower-than 和 slowlog

Lua 是一门轻量级、高性能、易嵌入的脚本语言，被广泛应用于游戏开发、嵌入式系统和数据处理领域。而在 Redis 中，Lua 脚本因其原子性与灵活性成为复杂操作和事务逻辑的首选工具。

Redis 发布/订阅（Pub/Sub）是一种轻量级消息通信机制，支持客户端订阅频道，并由发布端向频道推送消息，订阅端实时接收。它适合实时通知、日志分发等场景，但存在“弱事务性”：不持久、不确认。

Redis的Bitmap、Geo和Stream类型是处理高效数据存储与分析的重要利器。**Bitmap适用于用户签到、活跃状态等布尔集合问题，凭借位级操作大幅节省存储空间；Geo类型通过Z阶曲线等

Redis 常用命令及其典型应用场景。首先介绍了通用键空间命令如 EXISTS、DEL、EXPIRE、SCAN 等，强调了性能与使用场合的取舍。随后详细解析了五种核心数据类型。

Redis 是高性能开源键值数据库，内存读写快，支持RDB/AOF持久化、主从、哨兵、事务，常用于缓存与队列。源码自编译可率先修补漏洞，并按需启用TLS、JSON模块或systemd。