dwconv
heyzx123 opened this issue · comments
你好，我想请问一下，门控机制是通过点积实现，那是不是dwconv的操作是生成空间注意力权重？然后通过这样的乘法过程达到门控效果？
你好，感谢对我们工作的关注。dwconv和element-wise乘积共同作用能起到空间注意力类似的效果，你可以参考我们论文里面Eq. 3.7 和 Eq. 3.8的分析。
好的，十分感谢！不过还有个问题那么门控机制的实现是怎么做到的？
这里gating操作就是直接用element-wise乘积实现的