关于训练Loss
Elsanna opened this issue · comments
训练过程中，Loss会在2-3之间浮动，这样是正常的吗？
@Elsanna 你好，我现在也遇到这个问题，不知道怎么解决，请问你解决了吗？
训练过程中打印的Loss是模型整体的loss，浮动属于正常情况，建议看模型的最终结果（如R,P,F值）。实验证明，迭代10万次的效果要好于4万次的效果，虽然从Loss上来看没什么差别。
@Elsanna 好的，那我就只有试试了，我用的缩小一倍的特征图，这个损失应该是正负分类损失+正样本点连接损失，然后再平均到每个参与计算的正负样本点上。我试过负样本点全部参与计算，不是正样本点的3倍来计算，损失就在1.5-2之前跑；然后负样本点改成正样本点的3倍，慢慢的又回到2-3之间，偶尔会回到2以下，我想可能损失不下降的原因，是每次参与计算损失的负样本点都是选的分类损失最大的点来参与的。
能留个联系方式吗我的邮箱308285444@qq.com 因为我把代码改成python3版本了，我就怕哪里改错了，一直觉得损失不下降，可能是改错什么的
我100 steps里一直在2-3里，之后的1k steps就一直在1.3-1.9，我的lr=1e-4，我不知道是不是只是因为这个模型训练速度慢而已，看其他issue跑了300k...
+1