hadoop(6)——mrjob的使用(2)——交给hadoop集群

76 阅读1分钟

(1)开启hdfs和yarn服务
在这里插入图片描述

(2)查看写好的文件(同上一篇hadoop(5))
在这里插入图片描述
(3)执行命令
在这里插入图片描述
(4)任务完成
在这里插入图片描述
在这里插入图片描述
(5)查看output
在这里插入图片描述

ps:中间遇到了很多坑,比如说在执行该命令向前,一定要先hadoop fs -rm -r /output,不然已经建立了该文件夹hadoop会报错
还有就是如果在虚拟环境下创建该任务,除了(3)的命令外,一定要加上–
python-bin +/python解释器的位置参数
还有就是一定要把safe模式关掉:hdfs dfsadmin -safemode leave