训练RAVQA

[勇往直前的晨晨]

我加载了您提供的DPR检查点文件，然后去训练RAVQA框架。
我发现在训练时，生成的输出时解码后是下边这样的：请问这是正常的吗？
['[PAD] [unused2] [unused8] [unused25] [unused8] [unused915] black [unused14]',
'[PAD] [unused2] [unused8]imating red white blue [unused377] [unused76]',
'[PAD] [unused2] [unused8] [unused2] [unused110] [unused2] [unused74] [unused2] [unused25] [unused2]',
'[PAD] [unused2] [unused8]imating [unused2] [unused8]imating [unused2] [unused8]imating',
'[PAD] [unused2] [unused5] [unused5] [unused5] [unused5] [unused5] [unused5] [unused5] [unused5]']
为什么会有[unused2] 这些类似的乱码呢？

[Lin Weizhe]

麻烦只在一个issue里面讨论问题 开太多个了

如果正常训练1个epoch之后 是不应该有乱码的 请检查模型loss是否下降 以及各个部分有没有问题
同时检查validation时的retrieval表现 Recall@5应当在80%左右 这样可以确定retrieval没有出错

我没有办法帮你远程解决代码问题，不过这套代码我的硕士学生们都在用，他们没有报告类似的问题并且都能直接用代码库里的代码正常复现结果，可能你还是得从你修改的代码和内容上去检查。