spark 环境搭建过程记录

环境:

1. 机器：mac os
2. 搭建之前安装好hadoop,scala ,jdk
3. 安装包版本:

搭建环境变量

修改 $SPARK_HOME/conf/spark-env.sh 配置文件

• java home
  export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_241.jdk/Contents/Home
• hadoop home

1. export HADOOP_HOME=/Users/houwenqing/app/hadoop-2.6.0-cdh5.7.0
2. export HADOOP_CONF_DIR=/Users/houwenqing/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop

• scala home export SCALA_HOME=/Users/houwenqing/Downloads/scala-2.11.8
• spark 集群配置

1. export SPARK_MASTER_IP=localhost
2. export SPARK_WORKER_MEMORY=4G
3. export SPARK_WORKER_CORES=2
4. export SPARK_WORKER_INSTANCES=1

• hadoop classpath export SPARK_DIST_CLASSPATH=$(/Users/houwenqing/app/hadoop-2.6.0-cdh5.7.0/bin/hadoop classpath)

如果这个不配置启动的时候会报错：

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream

测试

到 $SPARK_HOME/bin 下进行测试

./spark-shell --master local[2] 

如果不能正常启动 出现如下错误：

zsh:no matches found local[2]

问题解决:

1. ~/.zshrc 文件加入： setopt no_nomatch
2. 更新配置 source ~/.zshrc

总结 :

安装坑点： 就是上面所说的错误，解决了，之后应该不会有坑了 唯一的坑就是关机后所有的都需要进程都要重启一遍，看下能不能设置开机启动。