网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
(一)
1.创建txt文件,我在这里创建/home/input.txt
切换路径:
cd /home
创建txt.文件
touch input.txt
编辑文件
vim input.txt
进去后按i键进行输入,然后Esc,再shift+; 最后输入wq
即是保存退出
在里面我输入了hello world
2.创建一个多级目录,保存MapReduce的输入文件
/usr/local/hadoop/bin/hadoop fs -mkdir -p /data/wordcount
3.创建一个目录,保存MapReduce的输出文件
/usr/local/hadoop/bin/hadoop fs -mkdir /output
标红表示可以自己设定的
(二)
上传这个文件到HDFS中:
/usr/local/hadoop/bin/hadoop fs -put /home/input.txt /data/wordcount
红色为之前创建txt文件的路径
表绿色为表示要和之前自己文件路径要一致
(三)
查看是否上传成功
/usr/local/hadoop/bin/hadoop fs -ls /data/wordcount
/usr/local/hadoop/bin/hadoop fs -cat /data/wordcount/input.txt
四、运行 WordCount 程序
/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /data/wordcount /output/wordcount
标红这里指定了输出文件里面统计结果的文件名称
查看统计结果
/usr/local/hadoop/bin/hadoop fs -ls /output/wordcount
/usr/local/hadoop/bin/hadoop fs -cat /output/wordcount/part-r-00000
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新