AdderSR小问题
techmonsterwang opened this issue · comments
请问论文中 self-shortcut ，BN和激活函数顺序是怎样的？是 BN→ReLU→self-shortcut 吗？
顺序为BN→self-shortcut→ReLU
感谢回复~，ReLU是要用Learnable Power Activation替换掉吗？
感谢回复~，ReLU是要用Learnable Power Activation替换掉吗？
不替换，ReLU后接上Learnable Power Activation
所以最终的每个Adder基本操作都是：adder → bn → self-shortcut → relu → Learnable Power Activation 吗？
所以最终的每个Adder基本操作都是：adder → bn → self-shortcut → relu → Learnable Power Activation 吗？
是的