wangyuxinwhy / uniem

unified embedding model

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

m3e支持交互式模型嘛?

NLPJCL opened this issue · comments

commented

🐛 bug 说明

感谢非常棒的工作!
请问下用在交互式模型上怎么样?
1.比如,输入query[sep]title 来通过模型,来判断是否相关。
2.如果不行的话,我加载m3e模型,继续把数据组织成交互式的方法来微调,是否比原生的bert好点呢?

Python Version

None

  1. m3e 是 “分离式” 的文本嵌入模型,没有办法 输入query[sep]title 来判断是否相关。
  2. 我估计会比原生的更好一点,你可以测试一下,期待您的结论

分离式的优点在于召回或者说是粗排,如果你的场景可以使用 “交互式” 的模型,我非常推荐使用 “交互式” 的,效果肯定比 “分离式” 的好

commented

请问下您了解有什么好的中文的交互式模型的预训练模型吗?我用我的数据用google的bert-base训练的交互式模型,甚至没有m3e没训练的这种双塔的高。

commented

谢谢~