1:添加 hadoop 用户
新增一个用户 hadoop ,以后就用 hadoop 这个用户对 Hadoop 进行管理。
-
新增
hadoop用户 :adduser hadoop。 -
为
hadoop用户添加管理员权限:赋值root权限--->修改 (vim /etc/sudoers),找到下面一行root ALL =(ALL)ALL下添加hadoop ALL = (ALL) ALL。
执行完这个操作,接下来的命令就切换到 hadoop 用户下进行。
2: 配置环境
-
安装
shh服务器:sudo apt-get install openssh-server -
登录本机:
ssh localhost
输入密码,登录成功,之后执行exit 退出登录。
-
设置无密登录
-
cd ~/.ssh/若⽬录不存在,则再次执⾏ssh localhost。 -
ssh-keygen -t rsa不⽤管提⽰,⼀直按回⻋。 -
cat ./id_rsa.pub >> ./authorized_keys加⼊授权。 -
ssh localhost测试⽆密码登录。
-
执行第三步的时候,最好看下当前的目录,如果当前目录在 /.ssh 下。那么只需要执行cat id_rsa.pub >> authorized_keys 即可。
查看当前目录下下的文件命令:ls -a。
3:安装 JDK
1:上传文件到指定位置。
2:解压。
3:修改系统配置(vim /etc/profile)。
export JAVA_HOME=/home/JDK/jdk1.8.0_191export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATHexport JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
4:配置生效 source /etc/profile。
5:验证java -version。
4:安装 Hadoop
-
下载对应版本的
hadoop,放在指定的目录下,然后解压。 -
修改文件夹属性:
sudo chown hadoop:hadoop -R /home/hadoop。
文件解压放在了/home/hadoop 目录下。
- 检查是否安装成功:进入解压后的目录,执行:
./bin/hadoop version。
文件目录为:/home/hadoop/hadoop-2.7.2。
5:配置伪分布式
(注意文件目录为:/home/hadoop/hadoop-2.7.2)
-
core-site.xmlhadoop.tmp.dir file:/home/hadoop/tmp fs.defaultFS hdfs://localhost:9000
-
hdfs-site.xmldfs.replication 1 dfs.namenode.name.dir file:/home/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/home/hadoop/tmp/dfs/data
-
mapred-site.xmlmapreduce.framework.name yarn
-
yarn-site.xmlyarn.nodemanager.aux-services mapreduce_shuffle
6:设置 HADOOP_HOME
-
vim /etc/profile在JAVA_HOME下添加如下两行:export HADOOP_HOME=/home/hadoop/hadoop-2.7.2 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
-
修改
hadoop_env.sh的JAVA_HOME把这个值写死 (这个值就是上文配置里的JAVA_HOME)。
7:格式化 NameNode
-
(在
HADOOP_HOME目录下执行)./bin/hdfs namenode-formar
8:开启 NameNode 和DataNode
./sbin/start-dfs.sh
9:关闭 NameNode和DataNode
./sbin/stop-dfs.sh
10:启动 YARN
./sbin/start-yarn.sh
11:关闭 YARN
./sbin/stop-yarn.sh
- (可以使用
jps命令查看启动的进程)