Spark - PermGen spacec错误

134 阅读1分钟

Spark 任务失败 PermGen space

1 任务失败表现(如log中的错误输出)

错误:PermGen space

2 失败原因

JVM不够(好像是默认128m)。通常是发生在读平面文件量较大时发生。

3 解决办法

在submit命令行中添加参数:--driver-java-options -XX:MaxPermSize=256m

256可根据实际情况再做增加