达不到论文效果
libeibei95 opened this issue · comments
我直接下载代码和数据,运行了readme.md 中的指令 python src/train.py --dataset book --model_type ComiRec-SA
, 得到的效果为
valid recall: 0.082050, valid ndcg: 0.128702, valid hitrate: 0.163897, valid diversity: 0.220184
test recall: 0.080504, test ndcg: 0.127190, test hitrate: 0.161744, test diversity: 0.221127
请问是可能是什么问题呢?
Hi @libeibei95, 我猜测可能是提前结束了训练,你把patience改大一点试试呢?另外,可否给一下tensorboard的截图。
Hi @libeibei95, 我猜测可能是提前结束了训练,你把patience改大一点试试呢?另外,可否给一下tensorboard的截图。
感谢回复,另外想问下 batch_size 是怎么选择的呢?我尝试在 book 上改了 batch_size =1024, 指标提升很显著
valid recall: 0.097471, valid ndcg: 0.151422, valid hitrate: 0.191578, valid diversity: 0.236192
test recall: 0.095441, test ndcg: 0.148853, test hitrate: 0.188381, test diversity: 0.235222
Hi @libeibei95, batch_size这个我没调过,取了一个固定值。从你的结果看起来确实影响还挺大的。。
作者有试过对一个用户序列只学习一个兴趣向量吗?我在 book 数据集上跑了一下,似乎比多兴趣效果好(SA版本的多兴趣);另外,淘宝线上的是 DR 版本还是 SA 版本呢?Case Study 里的呢?
谢谢!
我运行指令 python src/train.py --dataset book --model_type ComiRec-SA, 得到的效果为
valid recall: 0.079705, valid ndcg: 0.048730, valid hitrate: 0.159276, valid diversity: 0.200240
test recall: 0.077162, test ndcg: 0.047226, test hitrate: 0.153991, test diversity: 0.200762
特别是ndcg远低于论文提供的指标,请问这是什么原因呢
我运行指令 python src/train.py --dataset book --model_type ComiRec-SA, 得到的效果为
valid recall: 0.079705, valid ndcg: 0.048730, valid hitrate: 0.159276, valid diversity: 0.200240
test recall: 0.077162, test ndcg: 0.047226, test hitrate: 0.153991, test diversity: 0.200762特别是ndcg远低于论文提供的指标,请问这是什么原因呢
关于ndcg的计算方式有一些变化。在这里有写:https://github.com/THUDM/ComiRec#common-issues