spark 编译环境搭建

DarkChunk
65 阅读2分钟

@[TOC](spark 编译环境搭建（修改源码使用的环境）)

第一步:确保环境问题，需要安装1.8.0_282和 2.12.14,（一定要保证版本正确，否则会报错），最好使用相同的版本，不然有可能会报错

网上教程有很多这里就不再赘述

第二步:下载spark的源代码,我使用的是spark3.1.2的版本

网址如下 spark.apache.org/downloads.h… 在这里插入图片描述

第三步:将下载好的tar包解压并使用idea导入

在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 这里可能刚打开的时候只有配置文件，需要耐心等待一下 在这里插入图片描述 30 seconds later ~~~在这里插入图片描述 这个时候虽然生成了项目但是还是不能运行的，因为spark的部分代码需要后期生成，现在我们拿到的还不是完整的。

第四步 注销掉所有 pom文件中所有的 < scope> provided< /scope>(前面加了空格，不这样CSDN无法显示)

解决的报错为:在这里插入图片描述

在这里插入图片描述 在这里插入图片描述

第五步，生成缺失的代码,rebuild 项目

解决报错为:在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 这里同样需要等待一会等到进度条拉完,接着重新编译项目 在这里插入图片描述

第六步 添加scala jar包依赖

在这里插入图片描述 jar包可以在spark的根目录下下载 在这里插入图片描述

把jar包全部选中,可以点一下开头的jar包，再按住shift键点一下结尾的jar包，这样中间的jar包就都可以被选中了,然后点ok 在这里插入图片描述 在这里插入图片描述

在这里插入图片描述 这样就对对spark-examples_2.12 项目中,里面导入scala依赖

第七步 测试编译环境

在这里插入图片描述 在这里插入图片描述 之后就可以在spark-examples_2.12 项目编写spark程序，并且可以修改对应的spark源代码在本地进行测试了

可能会出现的问题

如果要是出现了修改了源码但是没有效果的情况，可以删除项目中.idea，然后重新进入项目

PS: 我在我朋友的电脑上按照这个教程没有成功，但在我自己的电脑上这样是可行的，我的朋友和我用的不同的idea版本和不同的java版本，暂时不清楚是不是版本的原因，欢迎私信

avatar
文章
阅读
粉丝