THUDM / WebGLM

WebGLM: An Efficient Web-enhanced Question Answering System (KDD 2023)

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

LLM-augmented Retriever中的 label 问题

dongxqm opened this issue · comments

您好,请问在原论文中提到在使用 LLM 增强 contriever 的时候的训练 label 是 Rouge-1 的准确率吗?但是我看源码loss 的正负样本 label 是0,1呢?开放的源码不全吗?

 “Therefore, the labels we use for training are the Rouge-1 precision scores of a query-reference pair.”
commented

感谢指出!我们在论文中报告的结果是使用 Rouge-1 Score 作为 label 训练的 retriever,后来我们发现用对比学习的方式效果会更好,于是就采用这种方案了,repo 中的代码也是该训练方案。