一文读懂业界主流模型推理部署框架

1,635 阅读3分钟

「这是我参与2022首次更文挑战的第28天,活动详情查看:2022首次更文挑战

  • 🎉 声明: 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
  • 1-0

    ❤️专栏:模型部署-环境搭建❤️ 一文读懂


    👋 Follow me 👋,一起 Get 更多有趣 AI、冲冲冲 🚀 🚀


    📔 模型推理框架 【Intel的OpenVINO -- CPU】


    OpenVINO推理简介


    可以轻松的将预训练模型在Intel的CPU上快速部署起来

    1-0


    📕 模型推理框架 【Nvidia的TensorRT -- GPU - 也支持 CPU】


    NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK。此 SDK 包含深度学习推理优化器和运行时环境,可为深度学习推理应用提供低延迟和高吞吐量。

    2-0


    📗 腾讯 ncnn【移动端部署】


    ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架 【在腾讯系 App 有实例应用】


    github.com/Tencent/ncn…


    📘 阿里 MNN【移动端部署】


    MNN 是一个高效轻量级的深度学习框架。 支持深度学习模型的推理和训练,在端端推理和训练方面具有行业领先的性能 【在阿里系 App 有实例应用】


    github.com/alibaba/MNN


    从热度上来说 和 ncnn 差一大截儿 【不吹不黑】

    5-1


    📙 华为 MindSpore 【 深度学习框架 】


    MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架 【受限于平台、热度不是那么高】


    github.com/mindspore-a…


    还是希望 华为 越来越好,早日走出困境


    📜 百度 PaddlePaddle【服务器端 | 移动端 皆可】


    产业级深度学习框架 【百度 PaddlePaddle 得益于 百度学习团队的大力推广,值得支持】


    github.com/PaddlePaddl…

    • 为了推广国产深度学习框架,李哥也是很用心了

    💬 简单总结


    • 国内传统四巨头,均开源自家的 深度学习推理部署框架
    • 也都基本做到各种主流模型【TensorFlow、pyTorch 】等模型转换、优化加速、部署端支持
    • 结合 业务选择,理顺学通 各个框架成为 模型部署端 打工人必备技能

    👋 不得不夸的YOLOX


    除了模型指标的突破创新,更重要的是,工业界各种主流部署教程,官方也已经写的很清晰了

    6-1

    最新整理的 YOLOX 相关学习博文


    🚀🚀 墨理学AI


  • 🎉 作为全网 AI 领域 干货最多的博主之一,❤️ 不负光阴不负卿 ❤️
  • ❤️ 如果文章对你有帮助、点赞、评论鼓励博主的每一分认真创作
  • AI 学习、深度学习环境搭建 : 一文读懂

    我会回来的...

    9-9