yhhhli / BRECQ

Pytorch implementation of BRECQ, ICLR 2021

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

权重更新范围限制

rainyBJ opened this issue · comments

想问一下雨杭大佬,你们有没有试过AdaQuant他们的方法,去掉权重更新的范围限制来进行重构呢?这样子理论上量化的效果是不是会有进一步提升?

其实这个问题AdaRound论文中已经讨论过了,结论是不如Round形式。
在AdaQuant论文中有效果可能是他们代码每层只finetune了400iters。所以round学习的不如ste那样。而AdaRound论文的实验finetune了一万iters。

image
image

好的,感谢!