finetuning loss
ZiboZ opened this issue · comments
在finetune代码中，<|Human|>部分也加入了loss的计算，想请教下这样相比conditioning language modeling loss有什么特别的好处吗？
用户输入不应该计算loss，他们的代码有点问题
OpenMOSS / MOSS
An open-source tool-augmented conversational language model from Fudan University