关于使用pycharm连接上linux虚拟机后的问题

64 阅读1分钟

这里是关于运行spark程序的时候报错JAVA_HOME没有找到的错误, 报错信息为:

-- 由于我在写这篇文章的时候已经解决了该问题, 所以找不到我的报错信息了, 这是之前在搜索相关问题的时候别人的报错信息
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out
localhost: failed to launch: nice -n 0 /usr/local/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master:7077
localhost:   JAVA_HOME is not set
localhost: full log in /usr/local/spark/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out

解决方案1: 在每个程序中手动设置这些环境变量
优点: 简单, 不需要修改配置
缺点: 每次运行任何spark程序的时候都需要添加, 没有办法做到一劳永逸

import os

os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['JAVA_HOME'] = '/export/server/jdk1.8.0_241

解决方案2: 在linux虚拟机上配置这些环境, 实现一劳永逸(注意: 如果你是集成环境需要在所有的虚拟机上都要配置)

-- 修改 `.bashrc` 或 `.bash_profile`

vim /root/.bashrc
-- 或者
vim /root/.bash_profile

-- 将光标移至最后一行并添加以下内容, 保存并退出
export SPARK_HOME=/export/server/spark
export PYSPARK_PYTHON=/root/anaconda3/bin/python3
export PYSPARK_DRIVER_PYTHON=/root/anaconda3/bin/python3
export JAVA_HOME=/export/server/jdk1.8.0_241

-- 更新配置
source ~/.bashrc

至此, 我在运行spark出现的JAVA_HOME问题解决.