Hadoop环境安装和集群创建

3 阅读1分钟

本文提供基于VMware安装CentOS 7及配置Hadoop伪分布式/集群的简要步骤。 一、环境准备 下载VMware并安装,CentOS 7标准版ISO可从官网获取。 主机网络配置:编辑Windows hosts文件,映射主机名与IP(如192.168.1.76 master)。 关闭防火墙:systemctl stop firewalld并禁用自启,使用Xshell连接主机(支持rz/sz传文件)。 二、JDK安装 解压JDK至指定目录,配置/etc/profile环境变量(JAVA_HOME、CLASSPATH、PATH)。若32位版本报错,建议重装64位JDK或执行yum install glibc.i686。 三、Hadoop配置 环境变量:在/etc/profile中设置HADOOP_HOME并生效。 核心文件: hadoop-env.sh:指定JAVA_HOME路径。 core-site.xml:设置fs.defaultFS为hdfs://master:9000,hadoop.tmp.dir为数据目录。 hdfs-site.xml:设置dfs.replication(伪分布式设为1)。 yarn-site.xml:配置ResourceManager地址及辅助服务。 mapred-site.xml:指定mapreduce.framework.name为yarn。 主机映射:修改/etc/hosts,配置master/slave IP。 SSH免密:生成密钥对,将公钥复制到各节点authorized_keys。 从节点:修改slaves文件(伪分布式写localhost,集群写slave主机名),并同步到从节点。 四、启动与验证 格式化HDFS:hadoop namenode -format。 启动服务:执行start-all.sh(或分别启动HDFS和YARN)。 验证:jps查看进程(Master应有NameNode、SecondaryNameNode、ResourceManager;Slave有DataNode、NodeManager)。 Web访问:http://master:50070(HDFS)和http://master:18088(YARN)确认正常。