【论文阅读笔记】ZeroQ: A Novel Zero Shot Quantization Framework

论文地址：ZeroQ
论文地址：https://github.com/amirgholami/ZeroQ

论文总结

  本文的方法是一种后量化方法，是不用finetune的一种方法。

  本文的贡献主要有两点：（1）提出了一种方法，从模型的分析中生成更为接近训练数据的数据，用于得到activation的范围和计算每一层的量化损失。（作者称他生成数据的方式，叫做蒸馏，distilled，数据）（2）提出使用Pareto frontier方法去选择目标模型大小的一个混合精度。

  本文的混合精度的选择，是在目标量化模型大小（比如6bit或4bit下对应的模型大小）的限制下，选择每一层量化Bit数。每一层的bit数不一样，有利于去恢复精度。因为不同层对于量化的损失是不一样的。但这种混合精度的方式，能不能真正应用在终端上进行加速，暂时还不了解这种不同layer采用不同Bit数如何进行计算。其目标是目标量化bit对应的模型大小下的混合bit模型的最优精度模型。

  另外，论文中介绍的，应用的时候，其认为不同层的量化bit数不相互打扰，是相互独立的。

论文介绍

标签：Novel,Shot,模型,论文,Quantization,ZeroQ,量化,bit,精度
来源： https://blog.csdn.net/qq_19784349/article/details/111005639