微调接口是否正确?用小批量数据微调5个epoch后模型完全没学到东西

[TchaikovskyBear]

System Info / 系統信息

None

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• The official example scripts / 官方的示例脚本
• My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

使用的是官方的peft_lora.py脚本, batch_size改1, input/output len 改2048, 其余参数没动过, 600个样本训5个epoch, train loss在4.2但是val loss有254,
想知道是不是样本量过少? 以及#30问题中提到的微调接口是否已经验证过?

Expected behavior / 期待表现

想知道是不是样本量过少? 以及#30问题中提到的微调接口是否已经验证过?