搭建spark和scala，派大星都轻松学会了，超简单，2024大数据开发春招面试真题网上学习资料一大堆，但如果学到的知

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

进入虚拟机或使用xshell进行配置（派大星选择用xshell）

使用xshell就要设置一下虚拟机的网络配置，改为NAT模式和子网IP改为192.168.88.0

这是xshell连接成功的页面

解压安装包代码如下

tar -zxvf /opt/scala-2.12.12.tgz -C /opt/

接着就要配置环境变量了

用vim命令进入etc下的profile

vim /opt/profile

进入后在最后加入这三行代码

#SCALA

export SCALA_HOME=/opt/scala-2.12.12

export PATH= $PATH:$ {SCALA_HOME}/bin

编写好后退出，用source使代码生效，在用scala -version查看是否成功，出现安装的版本号即为成功

解压安装包代码如下

tar -zxvf /opt/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/

因为后缀太长，改一个简单的名字spark

cd /opt

mv spark -3.1.1 bin-hadoop3.2 spark

之后就与scala配置环境变量一样进入profile，在最后加入下面四行代码

#SPARK
export SPARK_HOME=/opt/spark
export PATH= $PATH:$ {SPARK_HOME}/bin
export PATH= $PATH:$ {SPARK_HOME}/sbin

使代码生效，进入conf，备份文件

cp spark-env.sh template spark-env.sh

修改备份文件，在spark下的conf目录打开env，vim spark-env.sh

export SCALA_HOME=/opt/scala-2.12.12

export JAVA_HOME=/opt/module/java

export SPARK_MASTER_IP=master

export SPARK_WOKER_CORES=2

export SPARK_WOKER_MEMORY=2g

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

#export SPARK_MASTER_WEBUI_PORT=8080

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。