数据抽取工具 kettle应用控件

173 阅读3分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第1天,点击查看活动详情

概述

应用是转换控件里面的第五个分类,这个分类下是Kettle给我们自带的一些工具类。

替换NULL值

替换NULL值,顾名思义就是将数据里面的null值替换成其他的值,此控件比较简单,但是在企业里面也会经常用到。

1、可以选择替换数据流中所有字段的null值

2、也可以选择字段,在下面的字段框里面,根据不同的字段,将null值替换成不同的值

image.png 本章节任务:替换excel数据12_替换NULL值.xlsx的bonus列的null值为0。

image.png

写日志

写日志控件主要是调试的时候使用,此控件可以将数据流的每行数据打印到控制台,方便我们调试整个程序。

1、选择日志级别

2、可以输入自定义输出的语句

3、选择要输出打印的字段

image.png

image.png 本章节任务:在上个任务的基础之上,添加写日志控件,在控制台输出查看数据。

image.png

Kettle流程控件

流程是转换里面的第六个分类,流程分类下的控件主要用来控制数据流程和数据流向。

Switch/case

Switch/case控件,最典型的数据分类控件,可以利用某一个字段的数据的不同的值,让数据流从一路到多路。

image.png

1、选择需要判断的字段

2、选择判断字段的值的类型

3、填写分类数据的判断条件和目标步骤

本章节任务:将excel:13_Switch-Case.xlsx的数据按照部门字段进行分类,将同一个部门的数据输出到一个excel中

image.png

过滤记录

和Switch/case做对比的话,过滤记录相当于if-else,可以自定义输入一个判断条件,然后将数据流中的数据一路分为两路。

image.png

1、在下面先填写数据的判断条件

2、然后再上面选择下判断条件为true或者false的输出步骤

本章节任务:将excel:13_Switch-Case.xlsx的数据按照工资字段进行判断,将工资在20000及以上的数据输出到一个excel中,将工资小于20000的输出到另外一个excel中。

image.png

空操作

空操作,顾名思义就是什么也不做,此控件一般作为数据流的终点。

image.png

本章节任务:修改上节的转换任务,将工资大于等于20000的数据输出,小于20000的数据直接丢弃,熟悉空操作控件的使用。

image.png

中止

中止是数据流的终点,如果有数据流到此控件处,整个转换程序将中止,并且在控制台输出报错信息。此控件一般用来校验数据,或者调试程序。

image.png

本章节任务:使用中止控件判断上节任务中是否有人的工资低于20000,如果发现有人的工资低于20000的话,中止程序,并在控制台输出信息。

image.png