Spoon02-同步csv到HDFS

173 阅读1分钟

利用spoon将本地的csv文件上传到HDFS中。

准备工作

确保本地账户有权限访问HDFS的目录:本地账户为Windows,Hadoop在wsl上,这里wsl上新建一个与windows账户同名的用户并且添加到超级组中。

spoon的Hadoop配置参考这个博客:codeantenna.com/a/uv1ug7R7z…

spoon的版本:9.1(因为上次8.2版本无法正常添加Hadoop clusters,所以更换了版本) 这里放一下9.1版本的百度网盘下载地址,以防后面删除重下。

https://pan.baidu.com/s/18fvoHZ1R92J3mCxXwF28ng?from=init
wnap

image.png

spoon转换开发

新建一个转换job文件,输入还是采用“csv文件输入”这个组件,配置与上一个案例的配置一致。

image.png

输出用的是“Hadoop file output”组件

image.png

文件配置: image.png

内容配置: image.png

字段配置: image.png

到这里就配置完成了。然后就可以执行了。 执行日志: image.png

查看下hdfs的文件: image.png