1.安装编译包
yum install gcc-c++ gcc make cmake zlib-devel bzip2-devel openssl-devel ncurse-devel libffi-devel -y
在这里,博主遇到了yum命令无法下载的问题
和图片说的一样,检查一下epel.repo就可以啦
2.下载Python包和上传python包
博主上传到
/usr/local
上面,然后使用tar命令解压得到
之后的操作be like:
[root@bogon local]# mkdir -p /usr/local/python3 //级联创建文件夹
[root@bigdata01 Python-3.7.2]# make clean
[root@bigdata01 Python-3.7.2]# ./configure --prefix=/usr/local/python3/
[root@bigdata01 Python-3.7.2]# make && make install //开始编译
3、备份原系统中的低版本python
mv /usr/bin/python /usr/bin/python.bak
mkdir /usr/bin/pip
mv /usr/bin/pip /usr/bin/pip.bak
4.配置环境变量
创建新版本python和pip的软连接
ln -s /usr/local/python3/bin/python3.7 /usr/bin/python
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip
5.修改yum功能
因为yum是基于python2.7开发的,所以yum的功能依赖于Pyhon2,现在更改默认 Python版本后会导致yum无法正常使用,因而要进行以下四处修复。
vi /usr/bin/yum
vi /usr/libexec/urlgrabber-ext-down
vi /usr/bin/firewall-cmd
vi /usr/sbin/firewalld
像这样,python后面加上2.7就可以了
python -V
就可以看见python版本变成3.7.2啦
6.安装spark
安装spark就是比较简单,上传到指定目录
/home/softwares
然后解压,配置环境变量
export SPARK_HOME=/home/softwares/spark
export SPARK_CONF_DIR=$SPARK_HOME/conf
export PATH=$SPARK_HOME/bin:$PATH
这样spark就成功安装啦
7.安装bzip2(此步不执行安装anaconda会报错)
yum install -y bzip2
8.直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件的目录下
博主的话,就是直接上传到根目录上的
然后开始执行
bash Anaconda3-5.1.0-Linux-x86_64.sh
根据提示回车或yes 只有最后安装vscode回答no
9.配置环境变量并使之生效
`vi /etc/profile`&`source /etc/profile`
#anaconda3 environment
export ANACONDA_HOME=/root/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
export PYSPARK_DRIVER_PYTHON=jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=8888"
export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python
10.生成jupyter配置文件
(博主使用root用户路径是 /root/.jupyter/jupyter_notebook_config.py) 。然后进入根目录~~
cd ~
jupyter notebook --generate-config
11.生成Jupyter登陆密码
ipython
from notebook.auth import passwd
passwd()
输入你的密码后,如果密码太短会输入第二次确定,生成一个sha1:xxxxx 用记事本粘贴好哦
12.修改jupyter_notebook_config.py文件
c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.password=u'刚才生成的密码,博主用红色箭头指的那个'
c.NotebookApp.port=7070 #此端口为不使用pyspark的端口
13.执行命令
如果要环境加入pyspark 就直接执行命令 `python`
如果只需要普通python环境 就输入命令 jupyter notebook --allow-root
在浏览器输入web UI后就看见这样的界面,之后输入密码
直接pyspark即可
如果不能用pyspark直接进 cd /home/softwares/spark
./bin/pyspark
终于可以玩pyspark啦,一起来动手开始机器机器学习吧~
参考资料:
epel镜像_epel下载地址_epel安装教程-阿里巴巴开源镜像站 (aliyun.com)
(76条消息) Ununtu下运行 pyspark找不到python问题解决办法_unren python_訾尤的博客-CSDN博客