Spark任务失败-File doesn't exist
7.5.1.1 任务失败表现(如log中的错误输出):
在测试集群提交的任务中包含如下pyspark代码
spark.sql('drop table if exists t_test_order')
但是以1.6版本的spark提交任务,会报 file doesn't exist 的错误
以2.0版本的spark提交任务,会报错:pyspark.sql.utils.AnalysisException: u"Table to drop 't_test_order' does not exist;"
7.5.1.2 失败原因
提交任务的时候 使用了cluster 模式
7.5.1.3 解决办法
如果使用client模式或者在pyspark shell中运行,代码都能成功运行,并导致hive中的表被成功drop
\
