安装TensorRT

安装TensorRT

安装可以查看官方文档：docs.nvidia.com/deeplearnin…

查看Cuda 与Cudnn版本

nvcc -V
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

测试时cudnn安装的是11.4，执行cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 无法查看到版本号，但并没有影响到下面的安装步骤

下载TensorRT

选择TensorRT 8.2 EA for Linux x86_64 and CUDA 11.0, CUDA 11.1, CUDA 11.2, 11.3 and 11.4 TAR Package就好了，不用管什么系统

有EA和GA版本，我选择EA 因为Early Access的意思

安装TensorRT

• 解压 tar xzvf TensorRT-8.2.0.6.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz

• 解压得到TensorRT-6.0.1.5的文件夹，将里边的lib绝对路径添加到环境变量中

  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxxxx/TensorRT-6.0.1.5/lib
  # xxx为你自己的目录
  # 如果手动添加到.bashrc文件中，需要执行source .bashrc命令，配好的环境才能生效	
  

• 安装TensorRT

  cd TensorRT-6.0.1.5/python
  pip install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl
  # python环境并没有限制，py35，py36，py37都可
  

• 安装UFF,支持tensorflow模型转化

  cd TensorRT-6.0.1.5/uff
  pip install uff-0.6.5-py2.py3-none-any.whl
  

• 安装graphsurgeon，支持自定义结构

  cd TensorRT-6.0.1.5/graphsurgeon
  pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
  

检验

以上，我们就成功的将tensorRT安装完了，试着执行一下python，然后看能不能导入这些模块。
如果成功的import tensorrt，那么就算安装成功咯。
ps：import uff的时候，需要提前install tensorflow模块

测试

cd ~/TensorRT-6.0.1.5/samples
make

如果没有出现问题

# 进入到 TensorRT-6.0.1.5/bin 目录下
cd ../bin
./sample_mnist

可能需要到TensorRT-6.0.1.5/data/mnist/目录中将train-images.idx3-ubyte解压

（数字是随机的，此处显示的是3，可以不同）