ChatGLM3-6B微调后成哑巴了（字面意思）
Tangent-90C opened this issue · comments
今天按照https://github.com/datawhalechina/self-llm/blob/master/ChatGLM/06-ChatGLM3-6B-Lora%E5%BE%AE%E8%B0%83.md 的教程微调ChatGLM3-6B，结果微调时loss突然归0，后续让微调后的模型回答问题，更是一言不发，一个token都没生成就原样返回……
Python 3.10.8
相关库的版本：
Package Version
------------------------------ ---------------
accelerate 0.28.0
datasets 2.18.0
peft 0.9.0
torch 2.1.2+cu121
transformers 4.38.2
ChatGLM3模型，仓库文件改动频繁，需要时间定位问题，建议按照本项目readme中的学习建议，优先学习Qwen模型
试了下，peft降级0.6.0就行了
ke'neng'shi可能是高版本兼容性不太好
我去peft提了issue，目前发现是peft>=0.7.0就会出现这个问题，临时解决办法是把模型权重改成bf16或者fp32
huggingface/peft#1568 (comment)