极智AI | 解读深度学习PTQ后量化算法系列

309 阅读3分钟

欢迎关注我的公众号 [极智视界],获取我的更多经验分享

大家好,我是极智视界,本文来介绍一下 解读深度学习PTQ后量化算法系列。

邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码下载,链接:t.zsxq.com/0aiNxERDq

之前陆续输出过一些 PTQ 后量化算法的讲解分享,会涉及十余篇,这里进行一个系列汇总,方便系统地展现给同样对模型小型化感兴趣的朋友。

一般所说的量化算法主要包括后量化 (PTQ)量化感知训练 (QAT) ,对于工程部署来说,PTQ 往往会是首选,这是因为它的高效 (训练部署解耦)、简单,但是当部署要求提高的时候,比如要求量化误差更加小、比如要求要更低比特的量化时,那就要倾向推 QAT 了。

由于之前我输出的量化算法解读,大部分还是属于面向高效部署的 PTQ 量化,所以这里主要是 PTQ 量化算法的系列汇总。当然,你如果是对 QAT 感兴趣的话,我也写过一篇关于 QAT "导论般" 的介绍文章可供参考《极智AI | 谈谈几种量化感知训练算法》, "不深" 但也能 "宏观把控" 一下

一定要注意哈,这个量化可不是金融范畴的量化交易,讲个笑话,我之前写量化分享比较多,就有做金融的读者联系我,邀请我参加什么活动,我一看是什么金融量化交易,直接给我整不会了。

回到正题,我的量化算法解读分享涉及较多,比较自成体系主要是两个,一个是结合 Tengine 的量化算法讲解 (虽然大家喜爱的 Tengine 圈圈虫老师已经投奔其他 "爱巢"),另外一个是结合昇腾 CANN 来介绍 CANN 中的量化实现。

(1) 结合 Tengine 的量化算法解读

(2) 结合昇腾 CANN 的量化实现

另外还有一些稍微 "杂" 一些的关于量化加速的技术分享,也一并进行了整理展示。

好了,以上分享了 解读深度学习PTQ后量化算法系列,希望我的分享能对你的学习有一点帮助。



 【公众号传送】

《极智AI | 解读深度学习PTQ后量化算法系列》


畅享人工智能的科技魅力,让好玩的AI项目不难玩。邀请您加入我的知识星球, 星球内我精心整备了大量好玩的AI项目,皆以工程源码形式开放使用,涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。一定会对你学习有所帮助,也一定非常好玩,并持续更新更加有趣的项目。 t.zsxq.com/0aiNxERDq

logo_show.gif