在linux上安装cloudera hadoop
这篇文章讲述了在单台主机上安装hadoop的情况。
hadoop是用于大量数据处理的并行框架。
Hadoop的实施由不同的供应商提供,如hortionworks和cloudera。
这篇文章讲述了在单机上安装cloudera hadoop。
要安装cloudera hadoop,需要java。
如果还没有安装java,请安装JDK 1.6,至少更新8。
请从archive.cloudera.com/redhat/cdh/下载 cloudera-testing.repo 并将其复制到 /etc/yum.repos.d/ 并确保更新 yum 命令。
请运行以下命令来安装hadoop、hive和pig
$ yum install hadoop-0.20 -y
$ yum install hadoop-hive -y
$ yum install hadoop-pig -y
上述命令将hadoop安装到/usr/lib/hadoop文件夹,hive安装到/usr/lib/hive,pig安装到/usr/lib/pig。
请在.bash_rc文件中设置环境变量,如下所述
$ \\vi ~/.bashrc
export HADOOP\_HOME=/usr/lib/hadoop
export HIVE\_HOME=/usr/lib/hive
export PIG\_HOME=/usr/lib/pig
export PATH=$HADOOP\_HOME/bin:$PATH:$PIG\_HOME/bin:$HIVE\_HOME/bin
```save it to .bashrc file
$ source ~/.bashrc
Open $HADOOP\_HOME/conf/hadoop-env.sh. Add JAVA\_HOME path. Ex:
export JAVA\_HOME=/usr/java/jdk1.6.0\_18
\* Open $HADOOP\_HOME/conf/core-site.xml. Add the Namenode server name or localhost and port for fs.default.name. Ex:
fs.default.name
hdfs://localhost:9000