Tensor量化
-
基于最值的量化
-
基于统计方法的量化
-
对称非对称
-
全局按通道
量化方式
- Post Training Dynamic Quantization,模型训练完毕后的动态量化
Post Training:训练完成后再量化模型的权重参数
Dynamic:在前向推理的时候动态地量化float32类型的输入
-
Post Training Static Quantization,模型训练完毕后的静态量化
-
QAT(Quantization Aware Training),模型训练中开启量化