semeval数据集运行起来有点问题
Jinjikiko opened this issue · comments
作者您好！代码非常清晰！但是semeval数据集使用相关的代码似乎不在里面。
前几个月太忙了，就只pull了tacred系列数据集的。Semeval的话你可以自己试着改下模板，挺简单的，the ___ e1 was _____ to the ____ e2，实体类型那边直接把关系名称里面那两个实体类型名拆开来用就行，中间那个irrelevant/relevant就行。
我后面补一下，抱歉~
作者您好，我用您代码好像跑不出您文中的结果，只有72不到；请问下reversed是怎么操作的？非常感谢！
SemeEval是正常的，甚至略高于您文中的结果。
想问下，您retacred和semeval分别怎么跑的，以及semeval您跑的多少
想问下，您retacred和semeval分别怎么跑的，以及semeval您跑的多少
您好，semeval使用您文中的模板样式，稍微改了下超参数，得到90的Micro F1，tacred/tacrev都直接使用您文中的模板和参数，相同的训练/验证/测试划分方式，在不reversed的情况下，取得71.6和78.5的Micro F1，无法跑到文中的结果。retacred数据集还没跑。正如您文中所述，对某些关系实例reversed后结果有很大提升，具体是怎么reversed的，方便透露吗？感激不敬！
关于tacred的话，你用最后一个checkpoint测试下。reverse的话，我试着把per:origin头尾实体颠倒抽取per:origin的反关系，其实这个设定严格来说是修改了数据集的形式的。
请问可以提供reversed的tacred数据集吗？这样可以方便复现最好的结果。
关于tacred的话，你用最后一个checkpoint测试下。reverse的话，我试着把per:origin头尾实体颠倒抽取per:origin的反关系，其实这个设定严格来说是修改了数据集的形式的。
了解了，非常感谢！
Hey @Wangkai-NLP, could you specify what the modifications to the hyperparameters are? I am not able to reproduce the results for semeval even with the templates. Thanks!
@Wangkai-NLP 对于semeval数据集，我在尝试改动之后F1结果只有61,请问是否能够提供你的超参数？非常感谢