caiyuanhao1998 / MST-plus-plus

"MST++: Multi-stage Spectral-wise Transformer for Efficient Spectral Reconstruction" (CVPRW 2022) & (Winner of NTIRE 2022 Spectral Recovery Challenge) and a toolbox for spectral reconstruction

Home Page:https://arxiv.org/abs/2204.07908

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于layernorm的疑问

Matsuri247 opened this issue · comments

197667673-750822f8-aa2c-4491-9d2a-5ed7e55a1ca8 作者您好,根据您在 https://github.com//issues/20 中的回答,这部分等同于layernorm,但是这个地方不是在做l2范数归一化吗?l2范数归一化在这里为什么能够等同于layernorm?为什么在代码实现上不直接用layernorm呢?希望您能够帮助我解惑,谢谢

在最后一个维度(channel)上做归一化就是 layernorm,直接用 layernorm 也行