关于layernorm的疑问
Matsuri247 opened this issue · comments
Matsuri247 commented
作者您好,根据您在 https://github.com//issues/20 中的回答,这部分等同于layernorm,但是这个地方不是在做l2范数归一化吗?l2范数归一化在这里为什么能够等同于layernorm?为什么在代码实现上不直接用layernorm呢?希望您能够帮助我解惑,谢谢
Yuanhao Cai commented
在最后一个维度(channel)上做归一化就是 layernorm,直接用 layernorm 也行