请问您们是如何在RoBERTa-wwm-ext上继续进行预训练的呢
yangzhch6 opened this issue · comments
yangzhch6 commented
RoBERTa-wwm-ext的词典跟您就不一样,想知道具体怎么做的,因为最近也在做预训练的工作
ZhuiyiTechnology commented
很简单啊,删除冗余的token的embedding,补充新的token的embedding(初始化)。就是修改一下embedding层的权重罢了。
以词为基本单位的中文BERT
yangzhch6 opened this issue · comments
RoBERTa-wwm-ext的词典跟您就不一样,想知道具体怎么做的,因为最近也在做预训练的工作
很简单啊,删除冗余的token的embedding,补充新的token的embedding(初始化)。就是修改一下embedding层的权重罢了。