Pytorch vs TensorRT推理速度对比

527 阅读1分钟

实验结果

本文使用retinanet网络为例,使用Pytorch和部署到TensorRT上的模型进行推理,进行速度对比结果如下:

Pytorch直接推理 2帧/s

image.png

部署到TensorRT 6.6帧/s

image.png

后续和大家分享mmdeploy环境搭建过程~