PyTorch的量化

618 阅读1分钟

Tensor量化

  • 基于最值的量化

  • 基于统计方法的量化

  • 对称非对称

  • 全局按通道

量化方式

  • Post Training Dynamic Quantization,模型训练完毕后的动态量化

Post Training:训练完成后再量化模型的权重参数

Dynamic:在前向推理的时候动态地量化float32类型的输入

  • Post Training Static Quantization,模型训练完毕后的静态量化

  • QAT(Quantization Aware Training),模型训练中开启量化