我们总以为深度学习 = 训练模型，其实错得离谱。
模型训练也许只占你 AI 项目生命周期的 20%，而真正吃掉时间、卡住性能的，是部署，是推理。
你以为推理不过就是 load 模型再 forward 一次？
你用过 TensorRT、TFLite、NCNN，调用熟得不能再熟了。
但你真的知道——模型在运行时，算子是怎么调度的？内存是怎么布局的？输入是怎么一层层“流”过这些模块的？为什么性能差别可以相差百倍？
你每天在用的推理框架，其实是一个黑盒。
现在，有一本真正“打破黑盒”，并手把手教你“如何从零实现一个深度学习推理框架”的新书来了—— 《自制深度学习推理框架》 ！
灵感源于实战，KuiperInfer 框架的诞生
本书作者傅莘莘（@傅傅猪），是一位工程背景出身的深度学习开发者。在一次次“调库”的过程中，他萌生了一个大胆的想法：能否自己动手实现一个推理框架？
于是，从最初的卷积和池化算子开始，他用 C++ 一步步搭建起了一个完整的推理系统，KuiperInfer 应运而生。从支持 ResNet、YOLOv5 等主流视觉模型，到扩展支持 Llama2 等大语言模型，这个开源项目逐渐获得了超 2900+ GitHub Star 与社区认可。
更重要的是，作者没有止步于“造轮子”，而是把这段宝贵的实践经验，沉淀为系统化教程——并最终，打磨成了这本 《自制深度学习推理框架》 。
你会在这本书中，完整走一遍这个过程。
这不是一本泛泛而谈的“讲原理”的书这本书最大的特色就是：动手为主，理论为辅，8000 多行代码即可从零搭建一个真正能跑的推理框架。
✔ 全流程实战教学
从张量设计到计算图构建，从核心算子（如卷积、池化）到复杂表达式、模型调度，每个模块都有源码、有注释、有解析，力求每一行代码都能读懂、写出、跑通。
✔ 从视觉模型到大语言模型全面覆盖
你不仅能学会如何跑 ResNet、YOLOv5，还能了解如何支持 Llama2 等大语言模型，真正扩展你的工程视野。
✔ 配套视频，全章节讲解
B 站视频配套每一章节，扫码即看，边学边练，效果更佳。
✔ 图文并茂、系统化学习路径
章节安排循序渐进，配有丰富图示和练习题，非常适合自学或做项目实训使用。
读这本书，你将收获
- 一个能真正跑通、可扩展的深度学习推理框架 KuiperInfer；
- 对推理流程从输入到输出的底层机制的完整理解；
- 使用 C++ 构建高效计算模块的工程实践能力；
- 从 CV 到 NLP 任务的部署原理和实现路径；
- 在面试、实习和工作中脱颖而出的实战经历与底层认知。
适合谁读？
- 想理解推理框架底层机制的 AI 从业者；
- 有 C++/Python 基础的深度学习初学者；
- 希望提升工程能力的高校学生/研究生；
- 想通过动手实现提升“理解力”的自学者；
- 对部署/边缘计算/高性能计算感兴趣的开发者。
一句话推荐
了解推理框架，不如亲手实现一个。
如果你已经厌倦了“调库调到吐”，那么这本书，就是你的“技术重构”起点。
B 站配套课程主页： @我是傅傅猪
想让“黑盒”变“白盒”？
想从底层彻底理解模型是如何一步步跑起来的？
这本《自制深度学习推理框架》，就是你最好的入门钥匙。
