不想做条咸鱼

本文介绍了在资源不允许增大的情况下，如何利用spark的持久化机制来分批处理大数据集，核心理念是用时间换空间

最近工作中遇到一个问题：某个spark任务在客户现场运行时好时坏，报错都是因为类找不到，经过排查，发现是客户集群有些机器的本地依赖不全。现将Spark提交时依赖文件的设置方式做个总结。

程序报错查看日志时，很多人都是直接搜索Caused by或者Exception，这并不能对程序运行中的问题有全面的认识。本文总结了我查看程序日志的一些经验。