Spark保姆级教学 之虚拟机的创建

4 阅读3分钟

这是专为 Spark 学习准备的从零创建 Linux 虚拟机完整流程,全程可视化、无坑、可直接复现,适配单机 / 伪分布式 / 集群学习场景。


一、前期准备(必做)

1. 安装 VMware

  • 下载:VMware Workstation 17.x(官网 / 可靠渠道)
  • 安装:默认路径即可,建议安装到非系统盘(D/E 盘) ,避免 C 盘爆满
  • 关键:安装后重启电脑,确保虚拟化驱动生效

2. 开启 CPU 硬件虚拟化(BIOS)

  • 开机按 Del/F2/F10(主板不同按键不同)进入 BIOS
  • 找到:Intel VT-x / AMD-V / SVM 选项,设为Enabled
  • 保存退出(F10)

3. 下载 Ubuntu 镜像(Spark 推荐)

  • 推荐:Ubuntu 22.04 LTS 64 位(桌面版) (稳定、兼容性好)
  • 官网:ubuntu.com/download/de…
  • 备用:Ubuntu 20.04 LTS(更轻量)
  • 校验:确保下载的是.iso文件,大小约 4GB

4. 虚拟机硬件配置建议(Spark 友好)

表格

硬件最低配置(学习)推荐配置(流畅)集群多节点
CPU2 核2–4 核每节点 2 核
内存2GB4GB+每节点 2–4GB
硬盘20GB40GB+每节点 30–40GB
网络NATNAT / 桥接NAT / 仅主机

说明:Spark 非常吃内存,4GB 是流畅运行单机 Spark 的底线


二、创建虚拟机(VMware 可视化步骤)

步骤 1:启动新建向导

  1. 打开 VMware → 点击创建新的虚拟机
  2. 选择典型(推荐) → 下一步(新手首选,自定义适合进阶)

步骤 2:选择安装源

  • 勾选安装程序光盘映像文件(ISO)
  • 点击浏览 → 选中你下载的ubuntu-22.04.x-desktop-amd64.iso
  • 下一步(VMware 会自动识别为 Ubuntu 64 位)

步骤 3:简易信息配置(可跳过,安装时再填)

  • 全名:spark
  • 用户名:spark
  • 密码:spark(学习环境简单即可)
  • 下一步

步骤 4:虚拟机名称与存储位置

  • 虚拟机名称:Ubuntu-Spark-22.04(见名知意)
  • 位置:非系统盘,如D:\VMs\Ubuntu-Spark-22.04
  • 下一步

步骤 5:磁盘配置

  • 最大磁盘大小:40GB(推荐)
  • 勾选将虚拟磁盘存储为单个文件(性能更好)
  • 下一步

步骤 6:自定义硬件(核心优化!)

点击自定义硬件,按以下调整(必做):

  1. 内存:拉到4GB(4096MB)
  2. 处理器2 核(CPU 核心数)
  3. 网络适配器:默认NAT 模式(新手友好,共享主机网络)
  4. CD/DVD:已自动选中 ISO,无需改
  5. USB 控制器:可禁用(节省资源)
  6. 声卡 / 打印机:可禁用
  • 点击关闭 → 点击完成

三、安装 Ubuntu 系统(虚拟机内)

步骤 1:启动虚拟机

  • 选中新建的虚拟机 → 点击开启此虚拟机
  • 等待加载,出现 Ubuntu 安装界面

步骤 2:安装向导(全程中文)

  1. 语言:选中文(简体) → 安装 Ubuntu

  2. 键盘布局:默认汉语 → 继续

  3. 网络:默认(NAT 自动联网)→ 继续

  4. 安装类型:清除整个磁盘并安装 Ubuntu(新手安全)→ 现在安装 → 继续

  5. 时区:默认上海 → 继续

  6. 账号设置:

    • 您的姓名:spark
    • 计算机名:spark-node1(集群时方便区分)
    • 用户名:spark
    • 密码:spark → 继续

步骤 3:等待安装完成

  • 耗时约 5–10 分钟(取决于主机性能)
  • 安装完成 → 点击现在重启
  • 重启后:输入密码spark登录桌面

四、虚拟机基础配置

  • 点击文件旁边的编辑在选择虚拟网络编辑器
  • 点击NAT模式,设置NAT还有子网IP与掩码