本教程为ubuntu环境下tensorrt环境的安装指南,为本系列的第一节内容。在本次课程中,通过演示内容,可让读者了解到cuda, cudnn和 tensorrt基础环境的安装的内容。
本次系列的演示环境为 WSL2 Ubuntu 22.04环境
安装的CUDA环境为CUDA 12.1
适配的cudnn版本为cudnn 8.9.1 for cuda 12.x
1. CUDA安装
1.1. CUDA ToolKit下载
首先要想使用TensorRT, 必须先安装cuda驱动,该驱动可在官网地址中下载:
下载地址:
也可输入如下命令在ubuntu内下载:
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
而后执行如下命令, 即可进行安装:
sudo sh cuda_12.1.0_530.30.02_linux.run
然后再在该界面输入accept:
之后,把下面两个选项取消掉(按空格取消):
再将光标移动到Install即可完成安装。
1.2. 环境变量配置
安装好之后,系统还不能够发现安装好的驱动,这个时候需要配置环境变量。
首先确定/usr/local/下面有没有刚才安装好的cuda 12.1, 可以看到如下:
之后打开环境变量:
vim ~/.bashrc
设置如下命令:
# CUDA SETTINGS
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH
接下来输入激活环境:
source ~/.bashrc
即可完成配置,接下来输入nvcc -V 可以调用nvcc即代表成功。
2. cudnn安装
2.1. 下载cudnn
在如下地址可以下载cudnn, 注意,你的cudnn一定要适配cuda的版本。cuda 12.1的cudnn版本为8.9.1, 在如下链接可以下载:
下载完成后,可以输入如下命令进行解压缩。
tar -xJvf cudnn-linux-x86_64-8.9.1.23_cuda12-archive.tar.xz
解压完成之后,可以看到如下目录结构:
.
├── LICENSE
├── include
└── lib
2 directories, 1 file
2.2. 复制相关文件
接下来,将include/cudnn*.h复制到/usr/local/cuda-12.1/include/下。
cp include/cudnn*.h /usr/local/cuda-12.1/include/
再将lib/libcudnn*复制到/usr/local/cuda-12.1/lib64
cp lib/libcudnn* /usr/local/cuda-12.1/lib64/
之后设置文件权限和更新动态链接库,即可完成安装:
# 赋予可读权限
chmod a+r /usr/local/cuda-12.1/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
# 更新链接库
ldconfig
验证安装 ,输入如下命令,即可验证是否成功安装:
cat /usr/local/cuda-12.1/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
3. tensorrt安装
3.1. 下载TensorRT
通过如下地址,可以下载到最新的TensorRT10的ubuntu 的包,然后选择对应的CUDA版本,我们是cuda 12.1,可以选择第一个tar包。
下载完成之后,通过如下命令进行解压:
# 解压缩
tar -zxvf TensorRT-10.13.3.9.Linux.x86_64-gnu.cuda-12.9.tar.gz
# 将该文件移动至opt (可选)
mv TensorRT* /opt/
3.2. 添加环境变量
然后将TensorRT的路径加到环境变量当中。
vim ~/.bashrc
# 添加下面两行
export PATH=/opt/TensorRT-10.13.3.9/bin:$PATH
export LD_LIBRARY_PATH=/opt/TensorRT-10.13.3.9/lib64:$LD_LIBRARY_PATH
# 激活环境
source ~/.bashrc
3.3. 验证安装
输入如下命令即可验证安装:
trtexec --version
可以看到如下输出即可证明安装成功: