如何在Ubuntu中使用IDEA操作hadoop(大数据实验二)

564 阅读2分钟

前言

eclipse太恶心了,看到一篇用idea实现本次实验的文章,于是便参考学习了一下,原文章如下:大数据导论 实验_一人一口酥A的博客-CSDN博客_大数据导论实验

下载idea

打开Ubuntu自带的软件商店,在里面搜索idea

image.png 这里我们选择ultimate版本的,由于此版本需要购买,但是学生可以免费使用(申请学生账号,后面会详细说明如何申请学生账号),不知道社区版本的可以不可用(阉割版)。 image.png 最后打开全部应用,打开idea即可 image.png

如何使用?

idea打开后可以自己在plugin里面搜索chinese更改语言,然后点击新建项目

image.png 这里我是在文件里面点击新建项目,当然,首次启用可以直接新建,一样的界面

image.png 然后我们新建maven项目。 新建完后,大概出来这个样子。 image.png 然后打开pom.xml文件,在里面新增依赖包,dependencies里面即为我们所需要增加的依赖

image.png 依赖凭自己的项目需要啥,自己新增,这里给出maven仓库地址(mvnrepository.com) 直接将下面依赖复制进去即可,依赖为2.x的可能会报错(少jar包) 例如我装的hadoop是3.3.3版本的,我就需要新增以下依赖

<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>3.3.3</version> 
</dependency> 
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-hdfs</artifactId> 
    <version>3.3.3</version> 
    <scope>test</scope> 
</dependency> 
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --> <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId> 
    <version>3.3.3</version>
    <scope>provided</scope>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core --> <dependency> 
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>3.3.3</version> 
</dependency> <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 --> <dependency> 
    <groupId>org.slf4j</groupId> 
    <artifactId>slf4j-log4j12</artifactId> 
    <version>1.7.36</version>
    <type>pom</type>
    <scope>test</scope> 
</dependency>
<!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-reload4j --> 
<dependency> 
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-reload4j</artifactId> 
    <version>1.7.36</version> 
    <scope>test</scope>
</dependency>
<dependencies>

可以参照这例子在maven仓库中搜索自己所需的依赖
依赖加完后会爆红,这时候打开旁边的maven,里面有一个重新加载maven项目,点击等待加载完毕

image.png

试验

来试验一下搞得东西对不对,我们用厦门大学实验室上面的代码
在org....这个包下面新建HDFSFileExist类,然后别动package内容,把那个代码往上复制, image.png 当然在这个之前需要启动hadoop,这里就不啰嗦了....
然后右键运行 image.png 然后我们就得到运行结果了

image.png 剩下几个实验也是跟这个差不多的,新建java类,把代码复制进去运行即可。

end

学生如何免费使用IDEA旗舰版(最新版)_J丶Xin的博客-CSDN博客_idea旗舰版学生免费注册使用步骤