运行Hadoop自带的MapReduce WordCount单词统计程序,2024年最新让人茅塞顿开

143 阅读3分钟

img img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

(一)

1.创建txt文件,我在这里创建/home/input.txt

切换路径:

cd /home

创建txt.文件

touch input.txt

编辑文件

vim input.txt

进去后按i键进行输入,然后Esc,再shift+;  最后输入wq

即是保存退出

在里面我输入了hello world

2.创建一个多级目录,保存MapReduce的输入文件

/usr/local/hadoop/bin/hadoop fs -mkdir -p /data/wordcount

3.创建一个目录,保存MapReduce的输出文件

/usr/local/hadoop/bin/hadoop fs -mkdir /output

标红表示可以自己设定的

(二)

上传这个文件到HDFS中:

/usr/local/hadoop/bin/hadoop fs -put /home/input.txt /data/wordcount

红色为之前创建txt文件的路径

表绿色为表示要和之前自己文件路径要一致

(三)

查看是否上传成功

/usr/local/hadoop/bin/hadoop fs -ls /data/wordcount

/usr/local/hadoop/bin/hadoop fs -cat /data/wordcount/input.txt

四、运行 WordCount 程序

/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /data/wordcount /output/wordcount

标红这里指定了输出文件里面统计结果的文件名称

查看统计结果

/usr/local/hadoop/bin/hadoop fs -ls /output/wordcount

/usr/local/hadoop/bin/hadoop fs -cat /output/wordcount/part-r-00000

img img img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取