利用spoon将本地的csv文件上传到HDFS中。
准备工作
确保本地账户有权限访问HDFS的目录:本地账户为Windows,Hadoop在wsl上,这里wsl上新建一个与windows账户同名的用户并且添加到超级组中。
spoon的Hadoop配置参考这个博客:codeantenna.com/a/uv1ug7R7z…
spoon的版本:9.1(因为上次8.2版本无法正常添加Hadoop clusters,所以更换了版本) 这里放一下9.1版本的百度网盘下载地址,以防后面删除重下。
https://pan.baidu.com/s/18fvoHZ1R92J3mCxXwF28ng?from=init
wnap
spoon转换开发
新建一个转换job文件,输入还是采用“csv文件输入”这个组件,配置与上一个案例的配置一致。
输出用的是“Hadoop file output”组件
文件配置:
内容配置:
字段配置:
到这里就配置完成了。然后就可以执行了。
执行日志:
查看下hdfs的文件: