关于加入新loss导致的网络崩溃
wangjiyuan9 opened this issue · comments
王纪元 commented
感谢您的突出贡献!
我正在尝试加一个额外的loss来辅助训练模型。但是网络训练崩溃了,出现了非常大的波动。由于您的Loss设置,导致输出的记录中loss没有明显的下降情况,所以我很难知道原因。我想问:
您设定的ph_loss是一个负值的这种特殊情况,加入新loss有没有需要特地注意的?
在loss权重的设定上,您设定0.04这样的值应该经过了一些尝试,所以这个模型对loss权重非常敏感吗?有没有好的办法来确定加入新loss的权重?
王纪元 commented
抱歉,我仔细读了一下之前的issues,发现您并没有说过记录的Loss无法反映训练效果。但是从结果上看(即使是正确训练的记录),的确是忽正忽负的,没有明显的下降。