Giters

liucongg / ChatGLM-Finetuning

基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

请问是否支持断点续训？lora和全参微调

lianglinyi opened this issue · comments

commented

例如像别的repo是启动脚本里加checkpoint_dir参数指向断点的模型路径，继续训

commented

后面可能会增加，其实比较简单的处理办法是，断点lora参数合并到原始模型之后，利用合并后的参数直接初始化