****目录
1.需要安装 ssh and jdk
- jdk自己安装哇
2.安装
$ sudo apt-get install ssh
$ sudo apt-get install rsync
3.下载hadoop
解压
tar -zxvf hadoop-x.x.x
配置环境变量
vim /etc/profile
最下边加入 java 和hadoop 环境变量
export JAVA_HOME=/java/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$JAVA_HOME/lib:$PATH
export HADOOP_HOME=/hadoop/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
4.修改 etc/hadoop/hadoop-env.sh
# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest
5.启动
$ bin/hadoop
- 这将显示hadoop脚本的使用文档即ok
6.独立模式操作下
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
- 在挤压目录 新建文件将 配置文件考入到input,执行以下自带的jar,查看 output/* 出现内容 ok
7.伪分布式
- 修改 etc/hadoop/core-site.xml
configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 修改 etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
8.测试 无密码ssh本地
$ ssh localhost
- 没密码不让登陆到本地，操作它以下子
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
- 我的ssh太多了就改了改
- $ ssh-keygen -t rsa -P '' -f ~/.ssh/hello_id_rsa
ok
9.格式化一下子文件系统
$ bin/hdfs namenode -format
10.启动dfs
$ sbin/start-dfs.sh
- hadoop守护程序日志输出将写入$ HADOOP_LOG_DIR目录（默认为$ HADOOP_HOME / logs）。
11.查看界面
- 输入：NameNode - http://localhost:50070/
- 测试下出现界面ok
12.操作手法
添加个文件夹
$ bin/hdfs dfs -mkdir /user
添加点东西
$ bin/hdfs dfs -put etc/hadoop /user
操作操作
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+'
查看查看
$ bin/hdfs dfs -get output output
$ cat output/*
关闭dfs
$ sbin/stop-dfs.sh
13. 配置yarn 相关
- etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
14.启动yarn
$ sbin/start-yarn.sh
15.测试yarn
- http://localhost:8088/
- 浏览器输入网址看页面出现如下页面ok 完
16.停止yarn
$ sbin/stop-yarn.sh
ok完成
集群配置法
hadoop.apache.org/docs/stable…
ok
持续更新
