Giters

ljynlp / HiTrans

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

请问可以自己预训练吗

geolvr opened this issue · comments

commented

PUSV和MLM结合来预训练应该是一种可以尝试的方法

commented

我看您的代码里没有预训练相关的。我在自己领域数据上，只对low-level的bert进行二次预训练, 然后整个模型一起用您的代码finetune，这样合理吗？