eclipse配置mapreduce全教程,2024年最新GitHub标星50k的大数据开发全栈技术知识

47 阅读4分钟

**

二、Windows配置

**

1.进入你的hadoop目录进入bin目录

把上面链接提供的hadoop.dll和winutils.exe放在里面

hadoop.dll需要另外放在C盘的Windows目录下的System32目录
在这里插入图片描述

2.进入share目录

在搜索框输入jar在这里插入图片描述
全选复制

复制到刚刚你新建的hadoop-lib目录


3.接下来是配置Windows上的环境变量

红线的是需要自己新建的
红线的是需要配置的

在这里插入图片描述

保存退出,重启生效


**

三、eclipse配置

**

接下来打开eclipse

1.成功加入包之后,就会出现蓝色的小象,点OPEN在这里插入图片描述
在这里插入图片描述
在这里添加你Hadoop的目录
在这里插入图片描述

2.点击蓝色的小象,就有打开此窗口,右击新建一个,如下图

在这里插入图片描述

然后新建一个Java项目,这里不贴图了

3.接着进入设置

在这里插入图片描述

4.添加JAR包

点那个Add Extemal JARs,添加的目录是之前所创建的hadoop-lib目录

右击你所创建的JAVA项目,操作如图,将相关依赖包导入项目中

在这里插入图片描述

这里还要多添加一个JUnit

在这里插入图片描述

在这里插入图片描述

5.然后创建一个conf目录,再创建一个ha的子目录,这里是代表高可用集群的意思,要把高可用集群中的hdfs-site.xml和core-site.xml放在这里面中

如果你使用的是全分布集群,操作类似,

在这里插入图片描述

然后将ha文件夹右击做此操作
在这里插入图片描述
最好成品就是这样
在这里插入图片描述

img img img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取