TensorRT安装教程

136 阅读2分钟

本教程为ubuntu环境下tensorrt环境的安装指南,为本系列的第一节内容。在本次课程中,通过演示内容,可让读者了解到cuda, cudnntensorrt基础环境的安装的内容。

本次系列的演示环境为 WSL2 Ubuntu 22.04环境

安装的CUDA环境为CUDA 12.1

适配的cudnn版本为cudnn 8.9.1 for cuda 12.x

1. CUDA安装

1.1. CUDA ToolKit下载

首先要想使用TensorRT, 必须先安装cuda驱动,该驱动可在官网地址中下载:

下载地址:

cuda 12.1下载地址

也可输入如下命令在ubuntu内下载:

wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run

而后执行如下命令, 即可进行安装:

sudo sh cuda_12.1.0_530.30.02_linux.run

然后再在该界面输入accept

之后,把下面两个选项取消掉(按空格取消):

再将光标移动到Install即可完成安装。

1.2. 环境变量配置

安装好之后,系统还不能够发现安装好的驱动,这个时候需要配置环境变量。

首先确定/usr/local/下面有没有刚才安装好的cuda 12.1, 可以看到如下:

之后打开环境变量:

vim ~/.bashrc

设置如下命令:

# CUDA SETTINGS  
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH

接下来输入激活环境:

source ~/.bashrc 

即可完成配置,接下来输入nvcc -V 可以调用nvcc即代表成功。

2. cudnn安装

2.1. 下载cudnn

在如下地址可以下载cudnn, 注意,你的cudnn一定要适配cuda的版本。cuda 12.1cudnn版本为8.9.1, 在如下链接可以下载:

cudnn下载链接

下载完成后,可以输入如下命令进行解压缩。

tar -xJvf cudnn-linux-x86_64-8.9.1.23_cuda12-archive.tar.xz 

解压完成之后,可以看到如下目录结构:

.
├── LICENSE
├── include
└── lib

2 directories, 1 file

2.2. 复制相关文件

接下来,将include/cudnn*.h复制到/usr/local/cuda-12.1/include/下。

cp include/cudnn*.h /usr/local/cuda-12.1/include/

再将lib/libcudnn*复制到/usr/local/cuda-12.1/lib64

cp lib/libcudnn* /usr/local/cuda-12.1/lib64/ 

之后设置文件权限和更新动态链接库,即可完成安装:

# 赋予可读权限
chmod a+r /usr/local/cuda-12.1/include/cudnn*.h /usr/local/cuda/lib64/libcudnn* 

# 更新链接库 
ldconfig

验证安装 ,输入如下命令,即可验证是否成功安装:

cat /usr/local/cuda-12.1/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

3. tensorrt安装

3.1. 下载TensorRT

通过如下地址,可以下载到最新的TensorRT10的ubuntu 的包,然后选择对应的CUDA版本,我们是cuda 12.1,可以选择第一个tar包。

TensorRT的下载地址

下载完成之后,通过如下命令进行解压:

# 解压缩  
tar -zxvf TensorRT-10.13.3.9.Linux.x86_64-gnu.cuda-12.9.tar.gz 

# 将该文件移动至opt (可选)  
mv TensorRT* /opt/

3.2. 添加环境变量

然后将TensorRT的路径加到环境变量当中。

vim ~/.bashrc  

# 添加下面两行  
export PATH=/opt/TensorRT-10.13.3.9/bin:$PATH
export LD_LIBRARY_PATH=/opt/TensorRT-10.13.3.9/lib64:$LD_LIBRARY_PATH

# 激活环境 
source ~/.bashrc

3.3. 验证安装

输入如下命令即可验证安装:

trtexec --version

可以看到如下输出即可证明安装成功: