LLM-augmented Retriever中的 label 问题
dongxqm opened this issue · comments
dongxqm commented
您好,请问在原论文中提到在使用 LLM 增强 contriever 的时候的训练 label 是 Rouge-1 的准确率吗?但是我看源码loss 的正负样本 label 是0,1呢?开放的源码不全吗?
“Therefore, the labels we use for training are the Rouge-1 precision scores of a query-reference pair.”
Hao Yu commented
感谢指出!我们在论文中报告的结果是使用 Rouge-1 Score 作为 label 训练的 retriever,后来我们发现用对比学习的方式效果会更好,于是就采用这种方案了,repo 中的代码也是该训练方案。