(一)从零开始搭建大数据学习环境

6 阅读2分钟

一、整体流程概览

本教程以 VMware + CentOS 为基础,完整覆盖大数据集群前置环境搭建,核心流程如下:

  1. 安装 VMware,创建并安装 CentOS 操作系统
  2. 配置虚拟机静态 IP,确保网络稳定可访问
  3. 使用 FinalShell 远程连接虚拟机
  4. 配置虚拟机主机名与本地 hosts 映射
  5. 配置 yum 源并安装基础工具
  6. 配置多台虚拟机间免密登录与 hosts 文件

二、虚拟机 IP 配置(核心三步)

1. 配置 VM 虚拟网卡网段

  • 操作路径:VMware → 编辑 → 虚拟网络编辑器
  • 关键设置:选择NAT模式,固定网段(示例:192.168.10.0),网段约定后需保持一致
  • 目的:避免虚拟机 IP 随机变化,方便后续集群操作

2. 配置 Windows 本地虚拟网卡

  • 操作路径:控制面板 → 网络连接 → VMware Network Adapter VMnet8
  • 关键设置:右键 → 属性 → IPv4 协议,设置 IP 与虚拟机同网段(示例:192.168.10.1
  • 目的:实现 Windows 主机与虚拟机的网络互通

3. 设置虚拟机静态 IP

  • 操作命令

    bash

    运行

    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    
  • 核心配置项(需修改 5 行):

    • BOOTPROTO=static(静态 IP)
    • ONBOOT=yes(开机启动)
    • IPADDR=192.168.10.100(自定义 IP)
    • NETMASK=255.255.255.0(子网掩码)
    • GATEWAY=192.168.10.2(网关,与 VMware NAT 设置一致)
  • 生效命令

    bash

    运行

    service network restart
    

三、FinalShell 远程连接与基础配置

1. 远程连接虚拟机

  • 使用 FinalShell 输入虚拟机 IP、用户名、密码,建立连接
  • 连接后可可视化操作:创建文件、上传 / 下载文件、执行 Linux 命令等

2. 修改虚拟机主机名

  • 操作命令

    bash

    运行

    vi /etc/hostname
    
  • 示例:将第一台主机名改为hadoop100,后续克隆机依次为hadoop101hadoop102

  • 目的:区分多台虚拟机,方便集群管理

3. 配置本地 hosts 映射

  • Windows 路径C:\Windows\System32\drivers\etc\hosts

  • 添加内容

    plaintext

    192.168.10.100 hadoop100
    192.168.10.101 hadoop101
    192.168.10.102 hadoop102
    
  • 目的:通过主机名直接访问虚拟机,无需记忆 IP


四、yum 源配置与基础工具安装

1. 配置阿里云 yum 源

  • 操作命令

    bash

    运行

    sudo curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
    yum clean all && yum makecache
    
  • 目的:加速软件下载,解决默认 yum 源访问慢的问题

2. 安装 4 个核心工具

bash

运行

# 1. 安装epel扩展源(提供额外软件包)
yum install -y epel-release
# 2. 安装net-tools(包含ifconfig等网络工具)
yum install -y net-tools
# 3. 安装vim(增强版文本编辑器)
yum install -y vim
# 4. 安装rsync(文件同步工具,集群必备)
yum install -y rsync

五、多虚拟机 hosts 配置

  • 操作命令(在每台虚拟机执行):

    bash

    运行

    vi /etc/hosts
    
  • 添加内容

    plaintext

    192.168.10.100 hadoop100
    192.168.10.101 hadoop101
    192.168.10.102 hadoop102