AdderSR论文问题
MillionLee opened this issue · comments
你好，我有几个问题想请教一下：
1、AdderSR论文中所用的VDSR原始模型中并没有用BN层，请问adder layer后面必须连接一个BN层来防止梯度爆炸是吗？
2、adder layer后面可以用其他种类的normalization层吗？
3、如果我将adder layer引入其他任务中，而该任务中已经有另一种Normalization层A，如果直接替换的话是adder+BN+A层是这样吗？可以同时存在两个normalization层吗？
非常感谢您抽时间回答一下！
1.是的
2.理论上来说应该是可以的，实验中没有进行尝试
3.如果已有normalization层，应该是不需要BN的，当然同时使用两个normalizaion层应该也是可以的，需要具体实验尝试哪个更好