关于acb与conv不完全等价的问题
Orangerccc opened this issue · comments
您好！
我拜读了您的论文，结构重参数的idea很不错，工程意义很大！我关注到您在将acb-bn融合成一个普通的conv时，您好像是忽略了三个卷积层的偏置项的相加，（在代码里面我也没有看到您在将三个模块融合成一个的时候有考虑三个卷积核（square_conv、vertical_conv和horizontal_conv）的偏置项相加），所以我在测试时，用acb-bn进行预测和融合后的一个conv预测，结构会有一点点的偏差，所以请问您应该是没有考虑conv-bn中的conv的偏置b吧？
补：结构会有一点点的偏差—>结果会有一点点的偏差
您好，本来在conv-BN中，conv就不应该有bias的，有的话也完全没用，因为会被BN.mean抵消。
如果非要conv有bias的话也无所谓，fuse的时候加上就是了。
***@***.***
发件人： CC
发送时间： 2021-05-15 09:26
收件人： DingXiaoH/ACNet
抄送： Subscribed
主题： Re: [DingXiaoH/ACNet] 关于acb与conv不完全等价的问题 (#43)
补：结构会有一点点的偏差—>结果会有一点点的偏差
—
You are receiving this because you are subscribed to this thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
非常感谢您的解答，因为看了知乎一篇对您的文章的深度解析，那篇解析的推导过程将我带偏了，现在我明白了，谢谢您的解答。