大数据一锅端

随着大数据技术的发展，实时处理需求不断增加，传统的批处理框架已难以满足实时推荐、行为分析等场景的需求。Spark Streaming 作为 Spark 的核心组件，采用微批次（mini-batch）

在 SparkSQL 中，Join 是常见的数据分析操作，Spark 在物理计划阶段会根据表大小、是否等值 Join、Key 是否可排序等条件自动选择 Join 策略。

处理结构化与半结构化数据，兼容HiveQL并支持更简洁高效的语法。其核心抽象是DataFrame，支持多种数据源，如关系型数据库、Hive表、Parquet、JSON、CSV等。

Transformation 具有“懒执行”特性，调用时不会立刻计算，而是记录逻辑与依赖关系，构建执行计划（DAG），仅在遇到 Action 时才真正触发运算。这种机制能减少中间存储、优化整体性能。

核心数据抽象 RDD 具备不可变性、弹性容错和惰性求值特性，支持并行计算与分区策略，适合迭代式算法、ETL 流程及大规模数据处理。相比之下，DataFrame 提供了结构化数据接口，拥有 Cataly

上节研究了Spark的Standalone、SparkContext、Shuffle的V1和V2的对比等内容。本节研究SparkSQL，SparkSQL的基本概念、对比、架构、抽象。

集群由 Driver、Master、Worker、Executor 四个核心组件组成。Driver 负责解析用户应用，将逻辑转化为 DAG 并调度任务；Master 作为集群管理器，监控 Worker

在Spark分布式计算中，广播变量是一种高效共享只读数据的机制。Driver会将数据广播到各Executor，每个Executor仅需接收一次副本，避免了任务间重复传输，显著降低了网络开销。

在Spark中，RDD的容错机制主要依赖于检查点（Checkpoint）。检查点通过将RDD数据持久化到可靠的分布式存储（如HDFS），实现故障恢复和依赖链截断，区别于Persist/Cache等本地

Spark的Driver-Executor架构中，Driver通过SparkContext负责资源申请、任务调度与监控，而Executor则执行具体计算。由于两者运行在不同进程中，进程间通信需依赖序列

Super Word Count 项目旨在实现一个高效的文本预处理与词频统计系统，并支持结果写入 MySQL。整体流程包括五个步骤：文本统一小写、标点符号清理、停用词过滤、词频统计与排序、以及数据存储

首先，圆周率的计算采用了蒙特卡洛方法：在单位正方形中随机生成点，判断其是否落在单位圆内，通过统计比例近似求得 π 值。代码基于 Scala 编写，使用 SparkConf 配置运行环境，并通过 RDD

WordCount程序作为大数据学习的“Hello World”，不仅是入门的第一步，更蕴含了分布式计算的核心思想——分而治之。通过使用Spark和Scala实现，从文本加载、单词拆分、映射到计数归约

Action 是 Spark 中触发实际计算的核心操作，它会将 RDD 的一系列转换真正执行，并返回结果到驱动端或写入外部存储。常见操作可分为几类：数据收集类

RDD 的创建依赖于 SparkContext，它是 Spark 应用的核心入口，负责与集群管理器建立连接并提供多种功能接口。通过 SparkContext，开发者可以创建 RDD、管理累加器和广播

RDD（Resilient Distributed Dataset，弹性分布式数据集）是Spark中最核心的数据抽象，提供了不可变、分区化、可并行处理的分布式集合。其核心特性包括：分区机制保证并行性；

Spark集群架构由驱动程序、集群管理器和执行器三大核心组件组成，共同支撑其分布式计算能力。驱动程序是应用的入口，负责创建SparkContext、生成并优化执行计划，并通过集群管理器分发任务。

Apache Spark 是一个开源的分布式数据处理框架，具备高速、通用与易用三大优势，广泛应用于批处理、流处理、机器学习与图计算等场景。它采用内存计算引擎与DAG调度机制，大幅提升任务执行效率。

Spark 是继 MapReduce 和 Hive 之后的新一代大数据处理引擎，凭借内存计算、DAG 执行引擎、统一的生态系统和卓越的兼容性，成为当前主流的大数据分析平台。

Kafka 提供了两套度量系统：Yammer Metrics（服务端和Scala客户端使用）和 Kafka Metrics（Java客户端专用），均通过 JMX 接口统一暴露。