关于词表扩充以及垂直应用微调的问题
WangRongsheng opened this issue · comments
MPU王荣胜 commented
您好,我正在做一个垂直任务的微调:https://github.com/WangRongsheng/ChatGenTitle
我目前使用的是alpaca-lora 进行微调这个下游任务,我想请问:
- 词表扩充是只针对多语言吗?在单语言的llama模型中继续引入新的英语词表是否可以继续压榨llama模型性能?
- 对于我这样的垂直应用,您有什么其他的建议或者看法?
谢谢您!
Yiming Cui commented
加入词表是有一定破坏性的, 一是破坏原有分词体系,二是增加了未训练的权重。所以如果不能进行充分训练的话,可能会有比较大的问题。个人觉得如果不是特别专的领域(比如生物医学等涉及很多专业词汇的领域)没有太大必要去扩充英文词表。
MPU王荣胜 commented
谢谢!