huawei-noah / AdderNet

Code for paper " AdderNet: Do We Really Need Multiplications in Deep Learning?"

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

加速版AdderNet

beiliu253 opened this issue · comments

您好,请问一下加速版AdderNet什么时候可以发布?之前有人问过这个问题,但是现在好像还没有(或者我没有找到)。
目前想将AdderNet用于其他领域的一些任务,但是由于训练速度太慢和GPU显存占用太高,目前版本的AdderNet实际中几乎无法使用。

感谢🙏🙏

commented

@beiliu253 可以自行编写 cuda kernel ,加分用reduce算法优化;梯度部分,可以使用推导出来的数值梯度。直接用portorch的python版本发论文,很没有诚意。