kettle交换遇到重复数据问题

问题：多张表插入前置库时，用SQL查询出来的语句时查询出来的数据并没有产生重复，但是在插入前置库时数据产生了重复，且主键没有重复。
原因：因为之前上传的时候数据库已经产生了重复数据，所以在重新上传数据时，会跟之前的数据进行比对，遇到重复的数据时原数据只更新主键，其他重复数据不会产生变化。
解决办法：删除重复数据或者增加判断条件（只要在目标库里存在此数据那么就不会上传，缺点是：再上传只能上传新增的数据，之前的数据不会在上传）

用来查询的关键字必须是不发生变化的字段，一般来说是用主键，如果主键会发生变化，那么就需要找个固定不变的字段进行比对。