「这是我参与2022首次更文挑战的第9天，活动详情查看：[2022首次更文挑战](https://juejin.cn/post/7052884569032392740)」 --- 大家好，我是一条~ 5小时推开Spark的大门，第二小时，带大家搭建开发环境。主要分两步， - Spark的安装 - Scala环境的搭建话不多说，动起来！ ## Spark的安装 >Spark是基于Scala语言编写的，需要运行在JVM上，运行环境Java7以上，本文使用Java8，Centos7。 > >用Python也是可以的，但本教程不详细讲。 ### 1.下载Spark 我使用的是腾讯云的服务器，没有的同学用虚拟机也是可以的，Win和Mac如何安装虚拟机不再赘述，CSDN有很多教程，也比较简单。记得要**配置好Java的环境变量**哦！首先使用`wget`下载安装包（也可以本地下载之后上传） ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a2f1682afd774bdd8960ecb8ee00c3d2~tplv-k3u1fbpfcp-zoom-1.image) ```shell cd /data/opt/spark wget --no-check-certificate https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz ``` 下载完成后解压可以改个短一些的名字，版本号最好保留 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/468b19df78c24bc7a2721ab9faa4aa71~tplv-k3u1fbpfcp-zoom-1.image) ```shell tar -zxf spark-3.2.0-bin-hadoop3.2.gz ``` ### 2.Spark目录简介 > 可以自己cd进去看一看 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/67245bbcad274b4abd1ddd917fcb6183~tplv-k3u1fbpfcp-zoom-1.image) - bin：主要存放一些可执行文件。 - streaming、python、R、jars：主要存放组件源代码。 - examples：存放一些可运行的单机Spark Job案例。 - conf：存放配置文件。 - data：存放数据文件。 - sbin：存放sh脚本。 ### 3.启动Spark 进入`sbin`目录，执行`./start-master.sh`文件。根据输出的内容，找到日志。 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/e9c7e92143d8454aac225493b72789fb~tplv-k3u1fbpfcp-zoom-1.image) 查看日志 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/873e5f9e3e794e2abd0cd412679cdda2~tplv-k3u1fbpfcp-zoom-1.image) 访问网页端，如果是服务器记得开放对应端口。 ![image-20220122222352384](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/9eeac4f2d79040f8936853dfaed7b9a0~tplv-k3u1fbpfcp-zoom-1.image) ok，启动成功！ ### 3.Spark Shell >Spark-Shell是一种学习API的简单方式，能够交互式的分析数据。能够把分布在集群上的数据加载到内存节点中，使分布式处理可以秒级完成。 > >快速实时的查询、计算、分析一般都在Shell中完成。 > >所以要学习Spark程序开发，建议先学习Spark-Shell交互式学习，加深对Spark程序开发的理解。 > >Spark提供了Python Shell和Scala Shell两种，本套课程使用Scala。进去`bin`目录，执行`spark-shell` ```shell cd bin ./spark-shell ``` ![image-20220122211138840](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/34b20c3c2ee54dd487c542b8ccf2f05b~tplv-k3u1fbpfcp-zoom-1.image) ok，为了很好体会Spark-Shell，实验一个例子：**读取一个文件，并计算行数** 首先创建一个测试文件，linux的基本操作哈 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c640e3acfe9542dc81506d04413d1365~tplv-k3u1fbpfcp-zoom-1.image) ```tex hello scala! hello spark! hello world! ``` 回到Shell 先读取文件，再计算行数 ```shell var lines=sc.textFile("../../file/test") // 总行数 lines.count() // 第一行 lines.first() ``` 输出如下： ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f44da06beb8844b1aed9dfac992bca70~tplv-k3u1fbpfcp-zoom-1.image) 到此，Spark安装完成，同学们可能发现一个问题，这每次写代码也太麻烦了，就不能像Java代码一样吗？当然是可以的，下面就教大家怎么给IDEA配置Scala插件。 ## IDEA集成Scala插件 >IDEA相信大家都用过，不再赘述安装破解的过程。 ### 1.安装插件在`settings`里面按图片示例安装Scala插件，会比较慢。安装成功后需要重启IDEA。 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/df86e1906e704f4caca3a9367c3c7c28~tplv-k3u1fbpfcp-zoom-1.image) ### 2.创建Maven项目如图，新建一个Maven项目，起个名字，叫`spark-wordcount` 导入依赖 ```xml org.apache.spark spark-core_2.12 3.2.0 ``` 我们写完程序肯定是要放到服务器运行的，就像Java一样，所以还要配置打包参数。 ```xml net.alchim31.maven scala-maven-plugin 3.2.2 testCompile org.apache.maven.plugins maven-assembly-plugin 3.1.0 jar-with-dependencies make-assembly package single ``` reload之后如果没问题，我们的项目就创建好了。下面新建一个类`WordCount` ![image-20220122231419466](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3a54c4cfcf084102bf6ef19da5e2579f~tplv-k3u1fbpfcp-zoom-1.image) 注意是Scala Class，然后选择Object。再写个main方法，作为程序的入口，和Java有很多相似的地方。打印测试一下 ```scala object WordCount { def main(args: Array[String]): Unit = { print("hello world!") } } ``` 输出结果 ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/ef436a6322364e6fafe57d9f7ea92d31~tplv-k3u1fbpfcp-zoom-1.image) ok，开发环境已经搭建完毕。 ## 最后本日打卡内容到此结束，偏实战多一些，同学们一定要亲自操作，下一节课带大家做一个大数据入门的经典案例——WordCount。