领域增量预训练超参怎么设置效果才能变好呢
listwebit opened this issue · comments
Reminder
- I have searched the Github Discussion and issues and have not found anything similar to this.
Motivation
是不是需要和论文一致呢，但是好像论文没有放出来呀
Solution
能给些论文的超参吗
Alternatives
能给些论文的超参吗
Anything Else?
能给些论文的超参吗
Are you willing to submit a PR?
- I'm willing to submit a PR!
目前技术报告还在完善中，后续会公开的。关于领域增量预训练超参怎么设置效果才能变好这个问题：
首先，你应该确定你增量预训练后的模型有没有学到你领域内的知识，然后通用知识有没有出现遗忘。公开测试集只能反应一方面，更重要的是实测结果，你还可以制作一个你领域内的测试集来测试你每次训练后的模型。
其次，增量预训练的超参设置网上有很多实践的答案，你可以参考一下，我认为比较重要的其实是你数据的质量