macos+ubuntu系统安装hadoopHadoop 分布式计算平台，核心是分布式文件系统HDFS，本文将介绍had

Hadoop

分布式计算平台，核心是分布式文件系统HDFS

macos下

安装

下载地址：Index of apache-local/hadoop/core/hadoop-3.3.0

使用

参考文章：Mac部署hadoop3(伪分布式) - 掘金

进入目录~/tools/hadoop-3.3.0/etc/hadoop，做以下设置：

查看java_home:

打开hadoop-env.sh文件，增加JAVA的路径设置：

 export JAVA_HOME=/Library/Java/JavaVirtualMachines/zulu-8.jdk/Contents/Home

打开core-site.xml文件，将configuration节点改为如下内容，设置本地文件系统的端口和临时文件存储位置：

 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>${user.home}/hadoop-tmp</value>
 </property>

打开hdfs-site.xml文件，将configuration节点改为如下内容，设置文件副本的数量：

 <configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
 </configuration>

打开mapred-site.xml文件，将configuration节点改为如下内容，使用 YARN 作为 MapReduce 框架：

 <configuration>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
 </configuration>

打开yarn-site.xml文件，将configuration节点改为如下内容：

 <configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.nodemanager.env-whitelist</name>
         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
     </property>
 </configuration>

在目录hadoop-3.2.1/bin执行以下命令，初始化hdfs：

 ./hdfs namenode -format

初始化成功后，可见如下信息：

启动

进入目录hadoop-3.2.1/sbin，执行./start-dfs.sh启动hdfs：

遇到了以下问题，我烦死了

所以，在我的mac上安装的计划彻底放弃了，正当我以为我再也安装不了handoop的时候，我再次找了很多的教程，失败了很多次，最终按照这个文章成功的实现了：Linux(阿里云)安装Hadoop(详细教程+避坑)阿里云hadoop飞川撸码的博客-CSDN博客

ubantu下

安装jdk

 wget https://repo.huaweicloud.com/openjdk/18.0.1.1/openjdk-18.0.1.1_linux-aarch64_bin.tar.gz
 tar -zxvf openjdk-18.0.1.1_linux-aarch64_bin.tar.gz
 mv jdk-18.0.1.1/ /usr/java18
 echo 'export JAVA_HOME=/usr/java18' >> /etc/profile
 echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
 source /etc/profile
 java -version

这里手残选用了jdk18的版本，本来以为是jdk1.8的

安装hadoop

hadoop的安装包在清华云镜像下载的

 tar -zxvf hadoop-3.3.4.tar.gz
 ll
 mv hadoop-3.3.4 /opt/hadoop
 echo "export JAVA_HOME=/usr/java18" >> /opt/hadoop/etc/hadoop/yarn-env.sh
 echo "export JAVA_HOME=/usr/java18" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
 hadoop version

配置Hadoop

修改Hadoop配置文件 core-site.xml。

 vim /opt/hadoop/etc/hadoop/core-site.xml

在节点内插入如下内容。

  <property>
     <name>hadoop.tmp.dir</name>
     <value>file:/opt/hadoop/tmp</value>
     <description>location to store temporary files</description>
 </property>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value>
 </property>

修改Hadoop配置文件 hdfs-site.xml。

 vim /opt/hadoop/etc/hadoop/hdfs-site.xml

在节点内插入如下内容。

 <property>
     <name>dfs.replication</name>
     <value>1</value>
 </property>
 <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:/opt/hadoop/tmp/dfs/name</value>
 </property>
 <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:/opt/hadoop/tmp/dfs/data</value>
 </property>

配置SSH免密登录

执行以下命令，创建公钥和私钥。

 ssh-keygen -t rsa

将公钥添加到authorized_keys文件中。

 cd ~
 cd .ssh
 cat id_rsa.pub >> authorized_keys

将hadoop添加到环境变量中。

 vi /etc/profile
 
 export HDFS_NAMENODE_USER=root
 export HDFS_DATANODE_USER=root
 export HDFS_SECONDARYNAMENODE_USER=root
 export YARN_RESOURCEMANAGER_USER=root
 export YARN_NODEMANAGER_USER=root
 
 source /etc/profile