在linux上安装、设置cloudera hadoop的教程

237 阅读1分钟

在linux上安装cloudera hadoop

这篇文章讲述了在单台主机上安装hadoop的情况。

hadoop是用于大量数据处理的并行框架。

Hadoop的实施由不同的供应商提供,如hortionworks和cloudera。

这篇文章讲述了在单机上安装cloudera hadoop。

要安装cloudera hadoop,需要java。
如果还没有安装java,请安装JDK 1.6,至少更新8。

请从archive.cloudera.com/redhat/cdh/下载 cloudera-testing.repo 并将其复制到 /etc/yum.repos.d/ 并确保更新 yum 命令。

请运行以下命令来安装hadoop、hive和pig

$ yum install hadoop-0.20 -y  
  
$ yum install hadoop-hive -y  
  
$ yum install hadoop-pig -y  
  

上述命令将hadoop安装到/usr/lib/hadoop文件夹,hive安装到/usr/lib/hive,pig安装到/usr/lib/pig。

请在.bash_rc文件中设置环境变量,如下所述

$ \\vi ~/.bashrc  
  
  
export HADOOP\_HOME=/usr/lib/hadoop  
  
export HIVE\_HOME=/usr/lib/hive  
  
export PIG\_HOME=/usr/lib/pig  
  
export PATH=$HADOOP\_HOME/bin:$PATH:$PIG\_HOME/bin:$HIVE\_HOME/bin  
  

```save it to .bashrc file  
  
$ source ~/.bashrc  
  
Open $HADOOP\_HOME/conf/hadoop-env.sh. Add JAVA\_HOME path. Ex:  
export JAVA\_HOME=/usr/java/jdk1.6.0\_18  
  
\* Open $HADOOP\_HOME/conf/core-site.xml. Add the Namenode server name or localhost and port for fs.default.name. Ex:  
  
fs.default.name  
hdfs://localhost:9000