欢迎关注我的公众号 [极智视界],获取我的更多经验分享
大家好,我是极智视界,本文来介绍一下 解读深度学习PTQ后量化算法系列。
邀您加入我的知识星球「极智视界」,星球内有超多好玩的项目实战源码下载,链接:t.zsxq.com/0aiNxERDq
之前陆续输出过一些 PTQ 后量化算法的讲解分享,会涉及十余篇,这里进行一个系列汇总,方便系统地展现给同样对模型小型化感兴趣的朋友。
一般所说的量化算法主要包括后量化 (PTQ) 和 量化感知训练 (QAT) ,对于工程部署来说,PTQ 往往会是首选,这是因为它的高效 (训练部署解耦)、简单,但是当部署要求提高的时候,比如要求量化误差更加小、比如要求要更低比特的量化时,那就要倾向推 QAT 了。
由于之前我输出的量化算法解读,大部分还是属于面向高效部署的 PTQ 量化,所以这里主要是 PTQ 量化算法的系列汇总。当然,你如果是对 QAT 感兴趣的话,我也写过一篇关于 QAT "导论般" 的介绍文章可供参考《极智AI | 谈谈几种量化感知训练算法》, "不深" 但也能 "宏观把控" 一下。
一定要注意哈,这个量化可不是金融范畴的量化交易,讲个笑话,我之前写量化分享比较多,就有做金融的读者联系我,邀请我参加什么活动,我一看是什么金融量化交易,直接给我整不会了。
回到正题,我的量化算法解读分享涉及较多,比较自成体系主要是两个,一个是结合 Tengine 的量化算法讲解 (虽然大家喜爱的 Tengine 圈圈虫老师已经投奔其他 "爱巢"),另外一个是结合昇腾 CANN 来介绍 CANN 中的量化实现。
(1) 结合 Tengine 的量化算法解读
- Min-Max 量化算法实现 => 《量化实现分享一:详解 min-max 对称量化算法实现》;
- KL 对称量化算法实现 => 《量化实现分享二:详解 KL 对称量化算法实现》;
- ACIQ 对称量化算法实现 => 《量化实现分享三:详解 ACIQ 对称量化算法实现》;
- 高通 DFQ 量化算法实现 => 《量化实现分享四:Data-Free Quantization 香不香?详解高通 DFQ 量化算法实现》;
- 格灵深瞳 EQ 量化算法实现 => 《量化实现分享五:详解格灵深瞳 EQ 量化算法实现》;
(2) 结合昇腾 CANN 的量化实现
- 谈谈昇腾 CANN 量化 => 《极智AI | 谈谈昇腾CANN量化》;
- 再谈昇腾 CANN 量化 => 《极智AI | 再谈昇腾CANN量化》;
- 三谈昇腾 CANN 量化 => 《极智AI | 三谈昇腾CANN量化》;
另外还有一些稍微 "杂" 一些的关于量化加速的技术分享,也一并进行了整理展示。
- 谈谈几种量化策略 => 《谈谈几种量化策略:MinMax、KLD、ADMM、EQ》;
- 谈谈量化能加速的原因 => 《谈谈为什么量化能加速推理》;
- 谈谈量化组织方式 => 《谈谈模型量化组织方式》;
- 谈谈非线性激活函数的量化方式 => 《谈谈非线性激活函数的量化方式》;
好了,以上分享了 解读深度学习PTQ后量化算法系列,希望我的分享能对你的学习有一点帮助。
【公众号传送】
畅享人工智能的科技魅力,让好玩的AI项目不难玩。邀请您加入我的知识星球, 星球内我精心整备了大量好玩的AI项目,皆以工程源码形式开放使用,涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。一定会对你学习有所帮助,也一定非常好玩,并持续更新更加有趣的项目。 t.zsxq.com/0aiNxERDq