Pytorch implementation of BRECQ, ICLR 2021
Geek Repo:Geek Repo
Github PK Tool:Github PK Tool
rainyBJ opened this issue 3 years ago · comments
想问一下雨杭大佬,你们有没有试过AdaQuant他们的方法,去掉权重更新的范围限制来进行重构呢?这样子理论上量化的效果是不是会有进一步提升?
其实这个问题AdaRound论文中已经讨论过了,结论是不如Round形式。 在AdaQuant论文中有效果可能是他们代码每层只finetune了400iters。所以round学习的不如ste那样。而AdaRound论文的实验finetune了一万iters。
好的,感谢!