深度学习工作平台(Jupyter)的构建

798 阅读6分钟

@TOC

A.问题描述:

1.如何安装Miniconda?[转Step 0]
2.如何安装jupyterLab?[转Step 1]
3.如何安装TensorFlow? [转Step 2]
4.安装好麻烦,有在线版的jupyter吗? [转Step 3.4]
5.关于pip和conda安装包下载超时。[转Step 3.1]
6.关于pip和conda安装包出现权限问题[转Step 3.2]
7.Linux 自定义安装 Miniconda 【非root用户】[转Step 3.3]

B.问题本质:

Windows 安装 Miniconda及其包扩展

C.问题解决:

演示版本(其他 操作系统 可以参考一下):

  • Windows10
  • Miniconda、jupyter、TensorFlow

解决步骤 :

Step 0 下载、安装Miniconda

0.0 miniconda 下载地址
0.1 windows下载后一路 next 即可(安装路径可以自定义)

下载完事之后确认环境变量:

  • D:\Conda\Miniconda
  • D:\Conda\Miniconda\Scripts
  • D:\Conda\Miniconda\Library\bin

image.png

0.2 Linux 自定义安装 Miniconda 【非root用户】[转Step 3.3]

Step 1 由Miniconda安装JupyterLab ▼

在安装 Jupyter 之前,首先可以了解 Jupyter 的一些知识。

1、只需要在 conda 某个虚拟环境下安装一次 jupyter notebook,jupyter中切换虚拟环境是通过切换 kernel 实现的;

2、不同conda虚拟环境下,都需要安装 ipykernel,conda install ipykernel

3、不同conda虚拟环境下,需要生成内核 kernel ,切换到你的环境,然后 python -m ipykernel install --user --name 环境名称 --display-name "在notebook中显示的环境名"

注意:1个环境,对应2个kernel.json, 一个位于package里面,一个在share路径下面。上面 #3 生成内核实际就是生成kernel.json文件。

Jupyter 是一种Web应用,可以进行交互式编程,和conda结合可以直观的切换conda虚拟环境(内核)。于是为了一步到位,这里结合着 conda 一起进行设置。

1.1 安装Jupyter

由于多个环境中只需要安装一个 Jupyter ,这里将 Jupyter 单独安装在一个环境中,对其他环境进行隔离。若安装在其他环境中,运行 Jupyter 则需要进入所安装时的环境。

# 在指定目录<D:\Conda\Miniconda\envs>下创建名为<Y_JupyterLab>的虚拟环境
conda create --prefix=D:\Conda\Miniconda\envs\Y_JupyterLab python=3.9
conda activate D:\Conda\Miniconda\envs\Y_JupyterLab # 进入该环境
conda install jupyterlab                            # 安装Jupyterlab
# conda install jupyter notebook # 安装Jupyter notebook (可选)

1.2 内核扩展

如果你通过 conda 创建的环境 没有在notebook内核下拉列表中显示,那么需要关联 Jupyter Notebook和conda的环境和包——‘nb_conda’ 增加内核解决该问题。具体而言:

① 检查 jupyter 所在的环境是否安装 nb_conda

为了在不同 Conda 环境下运行文件,需要在 jupyter 所在的环境中安装nb_conda_kernels 包,并在其他需要用到的环境中安装 ipykernel 包。

conda activate D:\Conda\Miniconda\envs\Y_JupyterLab # 进入 jupyter 所在的环境
conda list                        # 查看是否存在 nb_conda,如果没有则执行下条语句
conda install nb_conda_kernels    # 在 jupyter 所在的环境中安装nb_conda_kernels 包
conda deactivate                  # 退出环境

conda create --prefix=D:\Conda\Miniconda\envs\Y_base python=3.9 # 创建其他环境
conda env list                 # 查看环境列表
conda activate Y_base          # 进入 其他需要用到 jupyter 的环境
conda install ipykernel        # 在其他需要用到 jupyter 的环境中安装 ipykernel 包

随后在 jupyter 所在的环境 打开 jupyter 即可:

conda activate D:\Conda\Miniconda\envs\Y_JupyterLab # 进入该环境
jupyter-lab

nb_conda 能够将你 conda 创建的环境与Jupyter Notebook相关联,便于你在Jupyter Notebook 使用不同的环境下创建 notebook 进行工作。

② 使用

可以在 jupyter notebook 内的“Kernel”类目里的“Change kernel”切换内核。

③ 卸载

conda activate D:\Conda\Miniconda\envs\Y_JupyterLab # 进入 jupyter 所在的环境
canda remove nb_conda

执行上述命令即可卸载 nb_conda 包。

附:jupyter 支持的 kernel目录: github.com/jupyter/jup…

1.3 Jupyter 默认空间设置

运行 Jupyter 后会出现一堆文件夹,这是你的\Home目录里面的目录文件,如果不希望今后编写的 Jupyter Notebook 文件都直接放在该目录下,就需要修改 Jupyter Notebook 的存放路径。 Windows用户首先新建一个文件夹用于存放 Jupyter 的文件。(这里建议文件夹路径中不包含中文)

获取配置文件路径:

jupyter notebook --generate-config

注意:这条命令虽然可以用来查询配置文件路径,但是主要用途还是将配置文件替换为默认配置文件。因此,可能命令执行后会询问

Overwrite /Users/ASUS/.jupyter/jupyter_notebook_config.py with default config? [y/N]

若按下"y"则之前修改的就会被覆盖。若只是查询路径,请输入"N"。 (一般情况下,配置文件路径:C:\Users<user_name>.jupyter)

C:\Users\ASUS.jupyter\ jupyter_notebook_config.py

用VScode或别的记事本打开文件,查找 c.NotebookApp.notebook_dir,删除注释符号,并将目标文件夹路径复制黏贴到后面的 ' ' 中。保存文件。

c.NotebookApp.notebook_dir = 'D:\\0\\Python'

Step 2 由Miniconda安装 TensorFlow 或者其他包扩展 ▼

这里将 TensorFlow 单独安装在一个环境中,对其他环境进行隔离。

# 在指定目录<D:\Conda\Miniconda\envs>下创建名为<Y_TensorFlow>的虚拟环境
conda create --prefix=D:\Conda\Miniconda\envs\Y_TensorFlow --clone Y_base
# 注:上条语句依赖 Step 1.2 内核扩展
conda activate D:\Conda\Miniconda\envs\Y_TensorFlow # 进入该环境
conda env list                 # 查看环境列表
conda activate Y_TensorFlow    # 进入要安装 TensorFlow 的环境
conda install tensorflow-cpu   # 安装 TensorFlow

注:运行 Jupyter Notebook 前,为了在不同 Conda 环境下运行,需要在 jupyter 所在的环境中安装nb_conda_kernels 包,并在其他需要用到的环境中安装 ipykernel 包。【详情可以查阅Step 1.2 内核扩展】

Step 3 异常处理

3.1 关于pip和conda安装包下载超时

异常描述:在使用pip或者conda安装库文件时,经常出现超时、无法下载的问题。

异常原因:在使用pip和conda进行下载安装库文件时,访问的是国外的pypi和anaconda repo网站,长城防火墙对于国内的网络访问外网进行了限制。

解决方法:使用pip和conda进行换源操作后,即可完美解决,换源操作:将pip和conda进行下载安装所访问的网站,变更为国内科研机构所建立的相对于pypi和anaconda repo的一个镜像网站。对应更换指令:

pip install 包名 -i pypi.tuna.tsinghua.edu.cn/simple

或者

pip install 包名 -i pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

(注:清华的镜像网站 pypi.tuna.tsinghua.edu.cn/simple)

临时使用时,容易出现如下错误

错误的原因:权限不足

解决方法:在anaconda中的对python.exe进行赋予权限操作。

3.2 关于pip和conda安装包 出现权限问题

以管理员身份运行 Anaconda Prompt (Miniconda)

3.3 Linux 自定义安装 Miniconda 【非root用户】

juejin.cn/post/713566…

3.4 在线平台

阿里云地址 tianchi.aliyun.com/notebook-ai
百度云 aistudio.baidu.com/aistudio/ne…
谷歌云 ---

参考
0.Miniconda Wiki
1.Miniconda+Jupyter 小白设置指南
2.Tensorflow 2.4 版本安装视频教程
3.Anaconda OR Miniconda ?
4.conda install OR pip install ?

可以肯定的是学海无涯,这篇文章也会随着对 Linux的深入学习而持续更新, 欢迎各位在评论区留言进行探讨交流。