tinybert 在mnli任务不能复现
iMountTai opened this issue · comments
代码可以在qnli、QQP、sst2任务上正确复现，但是在mnli任务上结果很差劲，第一步layers_distill的准确率为43.8，第二步一直是10%左右，不清楚别的同学有没有遇到该问题？
@gowtham1997 期待您的回复，谢谢~
我也遇到了同样的问题。请问您的问题后来解决了吗？我现在怀疑是三个label的顺序teacher和student对应不上
我猜可能需要修改原代码第178行，三个 label 的顺序。["contradiction", "entailment", "neutral"] 改为 ['entailment', 'neutral', 'contradiction']。参考 huggingface/transformers#12822
因为如果你的 BERT base Teacher 是按照第二个训练的，但 Student evaluation 却用第一个，就会对齐不上。
改了那一行，现在 dev set 准确率可以轻松超过83%甚至更高了。应该就是这个问题。不过还需要改一下这个，这个代码现在 mismatched 覆盖了 matched 的输出结果：#115