持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第2天，点击查看活动详情
Spark
简介
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
下载链接：spark.apache.org/downloads.h…
这里选用的是spark-3.3.0版本
安装
上传文件到指定目录
cd /data/soft
解压
# 解压
tar -zxvf spark-3.3.0-bin-hadoop3.tgz
# 重命名
mv spark-3.3.0-bin-hadoop3 spark-3.3.0
配置环境变量
# 编辑环境变量
vim /etc/profile
# 指定spark目录
export SPARK_HOME=/data/soft/spark-3.3.0
export PATH=$PATH:$SPARK_HOME/bin
# 保存
:wq
# 刷新配置
source /etc/profile
配置文件
# 进入配置文件目录
cd /data/soft/spark-3.3.0/conf
# 复制配置模板并重命名为 spark-env.sh
cp spark-defaults.conf.template spark-env.sh
# 配置参数
vim spark-env.sh
# 添加配置
JAVA_HOME=/usr/local/jdk1.8.0_261
SCALA_HOME=/data/soft/scala-2.12.15
HADOOP_CONF_DIR=/data/soft/hadoop-3.3.4/etc/hadoop
SPARK_LOCAL_IP=127.0.0.1
启动
# 进入目录
cd /data/soft/spark-3.3.0/sbin/
# 启动
./start-all.sh
测试
默认8080端口，被占用的情况下可以通过 /data/soft/spark-3.3.0/logs 查看 spark-root-org.apache.spark.deploy.master.Master-1-mb.out 启动日志
Scala
简介
Scala将面向对象和函数编程结合在一种简洁的高级语言中。Scala的静态类型有助于避免复杂应用程序中的bug，其JVM和JavaScript运行时让您可以轻松访问庞大的库生态系统来构建高性能系统。
下载链接：www.scala-lang.org/download/2.…
这里选用的是scala-2.12.15版本，具体版本号在Spark的jars目录中查看
安装
上传文件到指定目录
cd /data/soft
解压
# 解压
tar -zxvf scala-2.12.15.tgz
配置环境变量
# 编辑环境变量
vim /etc/profile
# 指定scala目录
export SCALA_HOME=/data/soft/scala-2.12.15
export PATH=$PATH:$SCALA_HOME
# 保存
:wq
# 刷新配置
source /etc/profile
测试
scala -version
# 成功提示：Scala code runner version 2.12.15 -- Copyright 2002-2021, LAMP/EPFL and Lightbend, Inc.
