请问GLM模型是否可以生成长句子？我对模型进行推理或者微调的时候都会报出维度不匹配的错误
taofennanhai opened this issue · comments
可以生成长句子，生成的时候应该用model.generate(**inputs, max_length=512, eos_token_id=tokenizer.eop_token_id)。具体请参考https://github.com/THUDM/GLM#generation
感谢你的回复。我还有一个问题就是如何用transformer的GLM模型向微调GPT2那样，微调一个个的长句子？
同样的在https://github.com/THUDM/GLM#generation 的training部分提供了计算生成loss的方法。需要自己添加optimizer和训练的代码。