Ubuntu 20.04 深度学习开发环境安装教程完全体

写Bug的程序猿
1,243 阅读6分钟

Ubuntu 20.04 深度学习开发环境安装教程完全体

本安装教程包括：

  1. Ubuntu 20.04 LTS Desktop 系统安装
  2. 软件中心问题
  3. 安装Barrier
  4. 设置中文输入法
  5. 安装WPS
  6. Python 开发环境
  7. CUDA Toolkit
  8. CuDNN
  9. Pytorch
  10. Docker

1. Ubuntu 20.04 LTS Desktop 系统安装

  • 下载 Ubuntu20.04 LTS Desktop 桌面版 镜像
  • 下载 balanceEtcher USB 镜像工具
    • 1 个 8 GB 左右的 USB （提前备份）；
    • 打开镜像工具，依次添加 ISO 镜像文件，选择 USB，单击 Flash! 生成镜像 ：

微信截图_20221203172815.png

  • 重启电脑，进入BIOS修改启动顺序，将USB 启动作为最高优先级。 不同机型进入 BIOS 方式：
    • ASRock: F2 or DEL
    • ASUS: F2 for all PCs, F2 or DEL for Motherboards
    • Acer: F2 or DEL
    • Dell: F2 or F12
    • ECS: DEL
    • Gigabyte / Aorus: F2 or DEL
    • HP: F10
    • Lenovo (Consumer Laptops): F2 or Fn + F2
    • Lenovo (Desktops): F1
    • Lenovo (ThinkPads): Enter then F1
    • MSI: DEL for motherboards and PCs
    • Microsoft Surface Tablets: Press and hold volume up button
    • Origin PC: F2
    • Samsung: F2
    • Toshiba: F2

2. 软件中心问题

Ubuntu 20.04 默认把软件中心换成了 snap, 感觉 snap 应用老出状况, snap 应用不但体积大, 安装好的应用还不时就崩溃, 所以如果要把电脑里的所有 snap 应用全部替换了, snapd 也卸载了

sudo apt install ubuntu-software
sudo snap remove snap-store
sudo apt purge snapd

3. 安装Barrier

Barrier 是一个免费的开源软件，可以轻松地通过本地网络在运行 Windows、Linux 和 macOS 的机器之间共享鼠标和键盘。

sudo apt update
sudo apt upgrade
sudo apt install barrier
  • Barrier服务端设置（共享键鼠）

image.png

  • Barrier客户端设置（使用另外一台电脑的键鼠）

image.png

4. 设置中文输入法

  • 删除fcitx
sudo apt remove fcitx
  • 安装ibus-libpinyin
sudo apt install ibus-libpinyin 
sudo apt install ibus-clutter
  • “语言支持” 里更改"键盘输入法系统"：

image.png

  • 重启系统

5. 安装WPS

  • 下载 wps官网下载地址：www.wps.cn/product/wps… 点击“立即下载”，选择“64位Deb格式”下的Forx64
  • 安装
sudo dpkg -i wps-office_11.1.0.11664_amd64.deb

6. Python 开发环境

  • Anaconda 虚拟环境
    • 官网下载 Anaconda(x86) 脚本，本文选择了 Python 3.9 版本。该版本是指虚拟环境中的默认 Python 版本，与系统的 Python 版本无关。
    # 右击安装包所在文件夹的空白位置，选择Open Terminal打开终端或 cd 至该文件夹;
cd ~/Downloads 
bash Anaconda3-2022.10-Linux-x86_64.sh
    • 安装过程中根据提示输入即可：
      • Please, press ENTER to continue: 按回车键
      • Do you accept the license terms? [yes|no]: 输入 yes
      • [/home/sparkai/miniconda3] >>>: 回车
      • Do you wish the installer to initialize Anaconda3 by running conda init? [yes|no]: 输入 yes
    • Conda 常用命令
      • 创建环境: conda create -n <环境名> python=3.8
      • 显示环境: conda env list
      • 激活环境: conda activate <环境名>
      • 退出环境: conda deactivate
      • 拷贝环境: conda create -n <环境名> --clone <旧环境名>
      • 删除环境: conda remove -n <环境名> --all
  • 安装VScode
    官网下载安装包，直接软件中心安装

7. CUDA Toolkit

  • NVIDIA 驱动安装

    • 方法一：软件和更新 >>> 附加驱动 >>> 选择对应版本的驱动（510版）

      image.png

    • 方法二：

      • 从官网下载510版驱动，或执行命令：
      cd ~/Downloads
wget https://us.download.nvidia.com/XFree86/Linux-x86_64/510.47.03/NVIDIA-Linux-x86_64-510.47.03.run
      • 禁用 Nouveau 驱动：
        • 查看 nouveau: lsmod | grep nouveau
        • 加入黑名单 ：
        BLACKLIST=/etc/modprobe.d/blacklist-nouveau.conf
sudo touch ${BLACKLIST}
echo "blacklist nouveau" | sudo tee ${BLACKLIST}
echo "options nouveau modeset=0" | sudo tee -a ${BLACKLIST}
      • 更新 initramfs: sudo update-initramfs -u
      • 重启系统: sudo reboot
      • 安装驱动:
      cd ~/Downloads
chmod 755 NVIDIA-Linux-x86_64-510.47.03.run
sudo ./NVIDIA-Linux-x86_64-510.47.03.run
  • CUDA Toolkit 安装

    • CUDA 是一套集合了驱动、工具库、软件开发套件以及应用编程接口于一体的统一的计算平台。使用 CUDA 可以使开发人员利用 NVIDIA GPU 进行高效的并行计算。要想使用 CUDA， 首先要加入 NVIDIA Developer Program，使用邮箱注册并登录即可。

    • 安装前检查

      • 你当然可以直接进入官网，下载并直接安装 CUDA，但这里还是推荐你执行一些检查再安装。
        • 检查显卡是否支持 CUDA:
          • lspci | grep -i nvidia
          • 如果没有任何输出，则执行 update-pciids 更新硬件库，并再次执行上述命令
          • 如果显卡来源于 NVIDIA，且包含在 developer.nvidia.com/cuda-gpus 中，则显卡支持 CUDA。
        • 检查系统是否支持 CUDA
        • 是否安装 GCC
          • gcc --version
        • 检查系统内核头文件
          • CUDA 驱动要求运行时的内核版本与安装时的一致，否则将要重装 CUDA 驱动。
          • 查看系统内核： uname -r
          • 安装内核头文件：sudo apt-get install linux-headers-$(uname -r)

    • 安装 CUDA Toolkit

      CUDA Toolkit 中包含了 CUDA Driver 以及用于构建 CUDA 应用的 工具 和 库文件、头文件 等内容。支持两种安装方式，可以选择其中任何一种：

      • 特定于发行版的安装包（RPM and Deb packages）

        • 对接 Ubuntu 本地包管理系统

      • 独立于发行版的安装包（runfile packages）

        • 可支持很多 Linux 发行版，但无法利用特定发行版的本地包管理系统

      • Runfile 安装步骤：

        cd ~/Downloads
wget https://developer.download.nvidia.com/compute/cuda/11.6.1/local_installers/cuda_11.6.1_510.47.03_linux.run
sudo sh cuda_11.6.1_510.47.03_linux.run

        注意： 安装选项中要去掉 Driver，因为已经单独安装过了。

        当看到如下提示，则安装成功：

      • Deb 安装步骤：

        • 下载 CUDA Toolkit ，依次选择 Linux -> x86_64 -> 20.04 -> deb (local)

        网页给出了下载和安装脚本（这里只下载）。本文安装的版本是 CUDA Toolkit 11.6 Update 1。

        wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
        • [可选] 验证 MD5，CUDA 11.6.1 的 MD5 在这里
         md5sum cuda-repo-ubuntu2004-11-7-local_11.7.0-515.43.04-1_amd64.deb
        • 删除 /etc/X11/xorg.conf 或将 /etc/X11/xorg.conf.d/00-nvidia.conf 的内容添加到 xorg.conf。 CUDA Toolkit 依赖自动生成的 xorg.conf 文件，如果自定义创建文件存在，那么 CUDA 驱动无法正常工作。
        • 删除旧的 CUDA Toolkit。若设备之前通过 runfile 安装了旧版 CUDA Toolkit，则需要必须手动删除， Deb 安装的则可以不删除：
        # 删除 Toolkit runfile
 sudo /usr/local/cuda-<版本>/bin/cuda-uninstaller

# 删除 Driver runfile
 sudo /usr/bin/nvidia-uninstall

# 删除 Deb
 sudo apt-get --purge remove <package_name>
        • 安装 CUDA：
         # 删除过期签名秘钥
 sudo apt-key del 7fa2af80`
 # 安装本地仓库至文件系统
 sudo dpkg -i cuda-repo-ubuntu2004-11-7-local_11.7.0-515.43.04-1_amd64.deb
 # 注册临时公共 GPG 密钥
 sudo cp /var/cuda-repo-ubuntu2004-11-7-local/cuda-*-keyring.gpg /usr/share/keyrings/
 # 更新仓库缓存，安装 CUDA 并重启
 sudo apt-get update
 sudo apt-get install cuda
 sudo reboot

    • 配置环境变量

      安装完成之后，执行如下操作：

    # 安装Vim
sudo apt-get install vim-gtk
# Vim美化
sudo vim /etc/vim/vimrc

sudo vim /etc/profile.d/cuda-conf.sh
# 按e键 ，进入编辑，把光标移到最后一行
# 增加如下内容
export PATH=/usr/local/cuda-11.6/bin${PATH:+:${PATH}}

# runfile 安装还需要增加如下内容
# 64-bit 系统
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

# 32-bit 系统
export LD_LIBRARY_PATH=/usr/local/cuda-11.6/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} 

# 按下Esc键，再输入:wq，保存并退出，下次重启后就会生效了

    • 删除 CUDA 和 显卡驱动

      要想完全删除 CUDA 和 驱动，可以执行如下命令。

    # 删除 CUDA Toolkit: 
 sudo apt-get --purge remove "*cuda*" "*cublas*" "*cufft*" "*cufile*" "*curand*" \
 "*cusolver*" "*cusparse*" "*gds-tools*" "*npp*" "*nvjpeg*" "nsight*" 
# 删除显卡驱动
 sudo apt-get --purge remove "*nvidia*"

 sudo apt-get autoremove

8. CuDNN

安装前从链接查看最新 CuDNN 依赖的 CUDA 版本 和 GPU 架构。 与 CUDA Toolkit 类似，CuDNN 同样提供了多种方法安装。本文只给出 Tar 文件安装方法，该方法具有更好的灵活性，更多安装方式参考官方教程。

安装步骤：

  • 确保安装了 CUDA Toolkit

  • 安装 zlib: sudo apt-get install zlib1g

  • 官网下载合适版本的 Linux x86_64 (Tar) 文件（需要登录），老版本的点这，本文使用了 CuDNN v8.7.0 (November 28th, 2022) for CUDA 11.x

  • 执行脚本安装：

     tar -xvf cudnn-linux-x86_64-8.7.0.84_cuda11-archive.tar.xz
 cudnn-linux-x86_64-8.x.x.x_cudaX.Y-archive.tar.xz

 sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include 
 sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64 
 sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

  • 如果你的设备装备了多个版本的 CuDNN，要切换到版本： sudo update-alternatives --config libcudnn

9. Pytorch

  • 修改conda的下载源

    添加清华源

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

  • 建一个anaconda环境

这是新建一个名为torch13的环境，python版本为3.8，可根据需要更改

conda  create -n torch13 python=3.8

# 激活环境
conda activate torch13
    
# 如果想要退出这个环境，可以使用下面的命令
conda deactivate torch13
  • 下载pytorch

pytorch的官网：pytorch.org/get-started…

image.png

conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia

  • 验证是否安装成功

    查看pytorch是否安装成功：

    python
import torch
torch.rand(2,2)

torch.__version__
#查看pytorch版本
avatar
文章
阅读
粉丝