21. 部署相关知识点

2 阅读1分钟

最近在学习C++、AI部署,虽然很多知识不懂,但是在慢慢进步。以下的内容会慢慢学习起来。

  • FP 和 Half 的关系,Onnx导出时要使用GPU才能成功,Onnx设置和engine设置的关系
  • 推理时间在那些流程之间
  • onnx导出静态图和动态图的区别,以及如何使用
  • OnnxRuntime 推理过程、TensorRT的推理过程
  • OnnxRuntime调用 CPU、CUDA、TensorRT后端

模型训练:Datas → Model.pt(训练框架:Pytorch、Keras、TensorFlow)

模型转换:.pt → .onnx

模型解析:将 .onnx 模型解析得到输入信息、模型结构、输出信息

模型推理:前处理-对 Datas Resize、Padding → .onnx 推理(推理框架:OnnxRuntime、TensorRT)→ 后处理-对推理得到的结果 NMS 等

写接口(即.h文件中的接口:初始化、推理) → 打包成动态库(include + bin + lib)