筹备
参考
Centos镜像下载：mirrors.aliyun.com/centos/7/is…
Hadoop下载：hadoop.apache.org/releases.ht…
JDK下载：www.oracle.com/java/techno…
VM下载：www.vmware.com/products/wo…
SCP 命令请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第6.2 小节其中的 ：3）通过 scp 传输 host 文件
虚拟机安装Centos此处不详细描述
Centos国内源
请参考我的另一篇文章：
《基于Docker实现Hadoop完全分布式部署》 第2.1 小节
基础工具安装
请参考我的另一篇文章：
《基于Docker实现Hadoop完全分布式部署》 第2.2 小节
准备开发工具
Mysql 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.1 小节
Java 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.2 小节
Python3 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.3 小节
Scala 安装
请参考我的另一篇文章：
《Hadoop 高并发集群 与 开发环境部署》第5.4 小节
\
Hadoop部署
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/name</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
