CUDA与TensorRT部署学习笔记

542 阅读2分钟

CUDA与TensorRT部署学习笔记

前言

多年计算机视觉算法工程师,后期方向偏工程化方向。上班时间总是忙忙碌碌,总是想着问题解决了就好,很多知识点一知半解,知识系统化也不够,技术这么多年感觉没啥沉淀。因此,正好也毕业了,有时间按专题系统的重头梳理学习,该专题仅记录自己的学习过程,如果有幸能帮助到伙伴,深感荣幸,如果内容有理解不到位或有不同见解,妄请不吝赐教,先前拜谢~

学而知之,知而行之,行而知之,知而乐之,乐而行之,行而忘之,忘而习之!

本专题主要跟着《CUDA与TensorRT部署实战课程》学习,记录自己的理解和相关内容。主要的专题内容有并行处理与GPU体系架构、CUDA与cuDNN、TensorRT 及API 使用、分类器部署(CNN+Transformer)、YOLO系列检测器部署、BEVFusion模型部署等相关内容。

该文为该专题的目录大纲汇总页面~!

1 设备说明

平时自己工作方式都是用mac,然后远程连接服务器。正好家里有一台主机,以下的学习笔记都是用mac远程调试主机进行开发学习。

具体的机器相关参数如下:

  • host端

    • MacBookPro
    • Processor: 8-Core Intel Core i9
    • Memory :32 GB
  • server端

    • 联想拯救者刃9000
    • 处理器:intel i7
    • 内存:16G
    • 显卡:RTX3070 8G
    • 系统:Ubuntu 18.04

备注:打算一开始装20.04的,各种操作打死装不上,一换18.04一下就OK了,如果有知道原因的大神希望能指点下,如果遇到20.04死活装不上系统的伙伴,可以试一下其他系统!

2 环境配置

2.1 server端环境配置

2.1.1 Ubuntu安装openssh-server

2.1.2 Ubuntu安装CUDA

2.1.3 Ubuntu安装cuDNN

2.1.4 Ubuntu安装TensorRT

2.1.5 Ubuntu安装docker

2.1.6 Ubuntu安装cmake

2.2 host端环境配置

2.2.1 iterm2:Profiles配置自动登录远程服务器

2.2.2 mac使用clion远程调试Ubuntu服务器c_c++_CUDA代码

2.2.3 clion相关资料理解记录

3 C_C++相关知识

3.1 C\C++编译相关

4 并行处理与GPU体系架构

4.1 并行处理简介

4.2 GPU并行处理