在使用spark2.4.0的版本时候出现了数据重复的现象,该如何解决

47 阅读1分钟

在使用spark2.4.0的版本时候出现了数据重复的现象 具体是因为,其中一个job的stage出现了问题,这个stage中的一个task所在的excutor报错OOM导致task重试失败以至于整个job重试造成了数据重复,如何解决这种问题