Kettle安装使用

660 阅读4分钟

主页: 写程序的小王叔叔的博客欢迎来访
支持:点赞ee4fc7a48dbf48378a2a01100fb3d482.png​收藏0670abdfaa514db98809d82e82efb2bd.png​关注48d18c30cf92444e9d792b748da43c25.png

一、效果,使用

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

二、Kettle Spoon 简介

kettle 是纯 java 开发,开源的 ETL工具,用于数据库间数据迁移,开源的ETL工具,ETL是Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程.

kettle有四大核心组件: chef(工作设计工具), kitchen(工作执行器), spoon(转换设计工具), pan(转换执行器)

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

20210412094106407.png

自己生成的案例:

20210413092626226.png

202104121032385.png

三、【官网下载】工具下载

官网 :kettle.pentaho.org/
下载的最新版本的kettle是:pdi-ce-7.1.0.0-12

官方入门文档 :Pentaho Community Wiki

四、Kettle Spoon的安装

备注:我用的是公司领导分享的文件,进行安装和学习使用

4.1) 解压下载的文件夹

4.2) Windows10本地配置开发必备Java环境变量【百度 Java环境变量即可】

4.3)以上准备好后,双加/spoon/spoon.bat启动,欢迎页如图:20210412112741280.png

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

由于Kettle中有两种脚本文件,transformation(交换)和job(作业):transformation完成针对数据的基础转换,job则完成整个工作流的控制

创建成功后,通过下图进行连接MySQL,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

安装,关联成功后,进行“转换”,“加载”,“作业”的使用:

五、开始使用

5.1)转换

首先点击“和新对象 - 输入 - 表输入”,进行创建一个目标表的属性,如图:

20210413075430466.png​                20210413075455360.png

创建成功后,双击“表输入”,进行选择,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

选择完成之后,点击左侧“输出-插入/更新”,进行将目标表的数据插入/更新到右侧区域,如图:

原则是:插入:目标表没有id 更新:目标表有id

摁住shift键不放,鼠标点击表输入,然后拖向旁边的插入/更新,这样就把两个动作连接起来了。

20210413075854955.png​编辑 20210413075904505.png​编辑

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

创建完成之后点击“转换”按钮,进行转换,如图:

20210413080652192.png

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

运行之后 ,显示日志,Metrics,Preview data,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

转换成功后,系统生成***.ktr文件。

5.2)作业

选择“文件- 新建-作业”,生成一个作业业务,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

创建成功后,分别通过以下功能进行“作业”,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

首先,选择“Start”,进行创建“定时调度”,设置时间间隔,重复频率,如图:

我的设置为了看当前设置效果,业务中具体问题具体分析。

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

设置完成之后,进行确定保存,然后 双击“转换”,进行选择生成的ktr文件,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

设置成功后,进行执行“作业”,如图:

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

这样就是执行成功,如图,一定设置好ktr生成文件的关键步骤。

watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70​ watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNjUzNDA1,size_16,color_FFFFFF,t_70

以上就是Spoon 的初步使用,后期根据工作情况,适当更新。

转载声明:本文为博主原创文章,未经博主允许不得转载

​​​​​​​⚠️注意 ~

💯本期内容就结束了,如果内容有误,麻烦大家评论区指出

如有疑问❓可以在评论区留言💬或私信留言💬,尽我最大能力🏃‍♀️帮大家解决👨‍🏫!

如果我的文章有帮助,欢迎关注+点赞✔️鼓励博主🏃,您的鼓励是我分享的动力🏃🏃🏃~