不想做条咸鱼

最近工作中遇到一个问题：某个spark任务在客户现场运行时好时坏，报错都是因为类找不到，经过排查，发现是客户集群有些机器的本地依赖不全。现将Spark提交时本地资源文件如何上传做个总结。

程序报错查看日志时，很多人都是直接搜索Caused by或者Exception，这并不能对程序运行中的问题有全面的认识。本文总结了我查看程序日志的一些经验。