Centos7安装python3/Anaconda3/Jupyter/pyspark【一起动手开始机器学习啦】

1,395 阅读2分钟

1.安装编译包


yum install gcc-c++ gcc make cmake zlib-devel bzip2-devel openssl-devel ncurse-devel libffi-devel -y

在这里,博主遇到了yum命令无法下载的问题

T({PHK~F@0U2}7U5RB05QT5.png 和图片说的一样,检查一下epel.repo就可以啦

2.下载Python包和上传python包

image.png 博主上传到/usr/local上面,然后使用tar命令解压得到

image.png 之后的操作be like:

[root@bogon local]# mkdir -p /usr/local/python3  //级联创建文件夹
[root@bigdata01 Python-3.7.2]# make clean
[root@bigdata01 Python-3.7.2]# ./configure --prefix=/usr/local/python3/ 
[root@bigdata01 Python-3.7.2]# make && make install  //开始编译

3、备份原系统中的低版本python

mv /usr/bin/python /usr/bin/python.bak
mkdir /usr/bin/pip
mv /usr/bin/pip /usr/bin/pip.bak

4.配置环境变量

创建新版本python和pip的软连接

ln -s /usr/local/python3/bin/python3.7 /usr/bin/python
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip

5.修改yum功能

因为yum是基于python2.7开发的,所以yum的功能依赖于Pyhon2,现在更改默认 Python版本后会导致yum无法正常使用,因而要进行以下四处修复。

vi /usr/bin/yum
vi /usr/libexec/urlgrabber-ext-down
vi /usr/bin/firewall-cmd
vi /usr/sbin/firewalld

像这样,python后面加上2.7就可以了

image.png python -V就可以看见python版本变成3.7.2啦

image.png

6.安装spark

安装spark就是比较简单,上传到指定目录

/home/softwares 然后解压,配置环境变量

export SPARK_HOME=/home/softwares/spark
export SPARK_CONF_DIR=$SPARK_HOME/conf
export PATH=$SPARK_HOME/bin:$PATH

这样spark就成功安装啦

7.安装bzip2(此步不执行安装anaconda会报错)

yum install -y bzip2

8.直接执行下载到linux下的Anaconda3-5.1.0-Linux-x86_64.sh文件的目录下

博主的话,就是直接上传到根目录上的

image.png 然后开始执行

bash Anaconda3-5.1.0-Linux-x86_64.sh

根据提示回车或yes 只有最后安装vscode回答no

image.png

9.配置环境变量并使之生效


`vi /etc/profile`&`source /etc/profile`
#anaconda3 environment
export ANACONDA_HOME=/root/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
export PYSPARK_DRIVER_PYTHON=jupyter-notebook
export PYSPARK_DRIVER_PYTHON_OPTS=" --ip=0.0.0.0 --port=8888"
export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python

10.生成jupyter配置文件

(博主使用root用户路径是 /root/.jupyter/jupyter_notebook_config.py) 。然后进入根目录~~

cd ~
jupyter notebook --generate-config

11.生成Jupyter登陆密码

ipython
from notebook.auth import passwd
passwd()

输入你的密码后,如果密码太短会输入第二次确定,生成一个sha1:xxxxx 用记事本粘贴好哦 image.png

12.修改jupyter_notebook_config.py文件

c.NotebookApp.allow_root=True
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.password=u'刚才生成的密码,博主用红色箭头指的那个'
c.NotebookApp.port=7070 #此端口为不使用pyspark的端口

13.执行命令


如果要环境加入pyspark 就直接执行命令 `python`

image.png
如果只需要普通python环境 就输入命令 jupyter notebook --allow-root

image.png 在浏览器输入web UI后就看见这样的界面,之后输入密码

image.png

image.png 直接pyspark即可

1CD0PO~4)ZLT}CNBLE[D2.png

如果不能用pyspark直接进 cd /home/softwares/spark ./bin/pyspark

image.png 终于可以玩pyspark啦,一起来动手开始机器机器学习吧~

参考资料:
epel镜像_epel下载地址_epel安装教程-阿里巴巴开源镜像站 (aliyun.com)
(76条消息) Ununtu下运行 pyspark找不到python问题解决办法_unren python_訾尤的博客-CSDN博客