Apache Spark 是一种开源的分布式计算系统，而 Spark 的 Standalone 模式是它的独立集群模式，以下是关于 Spark Standalone 模式的详细介绍：
1. 概念
- 独立运行：Spark Standalone 模式是 Spark 自带的集群管理器，不需要依赖其他外部集群管理器（如 Hadoop YARN、Apache Mesos 等）即可运行 Spark 应用程序。
- 资源管理：它提供了一种简单的方式来管理集群资源，通过 Master 和 Worker 节点之间的通信来分配和管理资源。
2. 架构组成
-
Master 节点：
- 负责管理整个集群的资源，接收 Worker 节点的资源汇报信息。
- 负责分配任务给 Worker 节点，调度应用程序的运行。
- 可以通过配置多个 Master 节点来实现高可用（HA），其中一个 Master 为主 Master，其他为备用 Master。
-
Worker 节点：
- 负责运行实际的计算任务，将自身的资源（如 CPU、内存等）汇报给 Master 节点。
- 根据 Master 节点的分配，启动 Executor 进程来执行具体的任务。
- 每个 Worker 节点可以启动多个 Executor 进程，每个 Executor 进程可以运行多个任务。
-
Driver 程序：
- 是用户提交的 Spark 应用程序的入口点，负责解析用户提交的作业，将作业拆分为多个任务，并将任务提交给 Master 节点进行调度。
- Driver 程序可以运行在本地机器上，也可以运行在集群中的某个节点上。
3. 部署方式
-
单机模式（伪分布式） ：
- 在一台机器上同时运行 Master 和 Worker 节点，主要用于测试和开发环境。
- 可以通过配置文件（如
spark-defaults.conf）来设置 Master 和 Worker 的地址等参数。
-
分布式模式：
- 在多台机器上分别运行 Master 和 Worker 节点，形成一个分布式集群。
- 需要在所有节点上安装相同版本的 Spark，并配置好网络通信（如主机名解析、防火墙设置等）。
- 在 Master 节点上启动 Master 进程，在 Worker 节点上启动 Worker 进程，并将 Worker 节点注册到 Master 节点。
4. 优势
- 简单易用：无需依赖外部的集群管理器，部署和配置相对简单，适合小型集群和开发测试环境。
- 快速启动：启动集群和提交作业的速度较快，能够快速响应用户的需求。
- 灵活性高：可以根据需要动态地添加或移除 Worker 节点，方便扩展集群规模。
5. 限制
- 资源管理能力有限：相比 Hadoop YARN 等成熟的集群管理器，Spark Standalone 模式在资源管理的精细化程度上稍显不足，例如在多租户环境下，资源隔离和调度的灵活性不够。
- 高可用性配置相对复杂：虽然可以通过配置多个 Master 节点来实现高可用，但相比其他集群管理器，其高可用配置和管理相对复杂一些。
- 与其他系统的集成性稍弱：在与 Hadoop 生态系统的其他组件（如 HDFS、Hive 等）的深度集成方面，不如直接使用 Hadoop YARN 作为集群管理器时方便。
6. 使用场景
- 小型集群：适用于节点数量较少的小型集群，例如 10 台以下的机器组成的集群。
- 开发测试环境：在开发和测试阶段，使用 Spark Standalone 模式可以快速搭建集群，方便进行应用程序的开发和调试。
- 对资源管理要求不高：当对集群的资源管理精度要求不高，且主要关注快速运行 Spark 应用程序时，可以使用 Spark Standalone 模式。
