# Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/f

2022-09-02 482 阅读1分钟

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream、spark节点无法正常提交任务

在这里插入图片描述

处理方法：

使用CDH在当前节点新增spark-gateway节点（需重新部署客户端生效）
修改spark-env.sh配置文件

处理方法2：

#编辑spark-env.sh
vim /opt/cloudera/parcels/CDH/lib/spark/conf/spark-env.sh


#文件末尾添加
export SPARK_DIST_CLASSPATH=$(/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop classpath)

/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop

以上路径为笔者所使用CDH-hadoop所在路径， 路径请替换为你实际安装的hadoop路径