其他分享
首页 > 其他分享> > 【论文阅读笔记】ZeroQ: A Novel Zero Shot Quantization Framework

【论文阅读笔记】ZeroQ: A Novel Zero Shot Quantization Framework

作者:互联网

论文地址:ZeroQ
论文地址:https://github.com/amirgholami/ZeroQ

论文总结

  本文的方法是一种后量化方法,是不用finetune的一种方法。

  本文的贡献主要有两点:(1)提出了一种方法,从模型的分析中生成更为接近训练数据的数据,用于得到activation的范围和计算每一层的量化损失。(作者称他生成数据的方式,叫做蒸馏,distilled,数据)(2)提出使用Pareto frontier方法去选择目标模型大小的一个混合精度。

  本文的混合精度的选择,是在目标量化模型大小(比如6bit或4bit下对应的模型大小)的限制下,选择每一层量化Bit数。每一层的bit数不一样,有利于去恢复精度。因为不同层对于量化的损失是不一样的。但这种混合精度的方式,能不能真正应用在终端上进行加速,暂时还不了解这种不同layer采用不同Bit数如何进行计算。其目标是目标量化bit对应的模型大小下的混合bit模型的最优精度模型。

  另外,论文中介绍的,应用的时候,其认为不同层的量化bit数不相互打扰,是相互独立的。

论文介绍

标签:Novel,Shot,模型,论文,Quantization,ZeroQ,量化,bit,精度
来源: https://blog.csdn.net/qq_19784349/article/details/111005639