最近在学习C++、AI部署,虽然很多知识不懂,但是在慢慢进步。以下的内容会慢慢学习起来。
- FP 和 Half 的关系,Onnx导出时要使用GPU才能成功,Onnx设置和engine设置的关系
- 推理时间在那些流程之间
- onnx导出静态图和动态图的区别,以及如何使用
- OnnxRuntime 推理过程、TensorRT的推理过程
- OnnxRuntime调用 CPU、CUDA、TensorRT后端
模型训练:Datas → Model.pt(训练框架:Pytorch、Keras、TensorFlow)
模型转换:.pt → .onnx
模型解析:将 .onnx 模型解析得到输入信息、模型结构、输出信息
模型推理:前处理-对 Datas Resize、Padding → .onnx 推理(推理框架:OnnxRuntime、TensorRT)→ 后处理-对推理得到的结果 NMS 等
写接口(即.h文件中的接口:初始化、推理) → 打包成动态库(include + bin + lib)